"custom-op" 태그가 달린 포스트

PyTorch 내부 구조 12 - Backward 구현 패턴과 저장 전략

backward는 forward의 덧붙임이 아니라 어떤 중간값을 저장하고 어떤 계산을 다시 할지 결정하는 설계 문제다

PyTorch 내부 구조 20 - 실제로 PyTorch internals를 실력으로 연결하는 순서

internals 공부의 목적은 trivia 수집이 아니라 custom operator, kernel optimization, distributed runtime으로 자연스럽게 이어지는 감각을 만드는 데 있다