"autograd" 태그가 달린 포스트

분산 LLM 학습 04 - PyTorch DDP는 내부에서 무엇을 하는가

DDP는 단순 래퍼가 아니라 autograd hook, gradient bucket, process group을 사용해 동기화를 조직하는 런타임이다

PyTorch 내부 구조 01 - 왜 PyTorch internals를 알아야 하는가

PyTorch를 단순한 파이썬 라이브러리가 아니라 런타임으로 이해해야 성능과 확장 문제를 제대로 다룰 수 있다

PyTorch 내부 구조 05 - Autograd Graph와 Engine은 어떻게 동작하는가

autograd는 단순 미분 기능이 아니라 연산 그래프와 gradient propagation을 조직하는 런타임이다

PyTorch 내부 구조 06 - Custom Autograd Function을 언제 어떻게 써야 하는가

custom autograd function은 빠른 실험 도구이기도 하지만 backward 책임을 직접 지는 계층이기도 하다

PyTorch 내부 구조 12 - Backward 구현 패턴과 저장 전략

backward는 forward의 덧붙임이 아니라 어떤 중간값을 저장하고 어떤 계산을 다시 할지 결정하는 설계 문제다

PyTorch 내부 구조 18 - Autograd와 Distributed Runtime은 어디서 만나는가

DDP와 FSDP는 autograd 바깥의 마법이 아니라 gradient readiness와 tensor state를 runtime 차원에서 가로채는 구조다