"ddp" 태그가 달린 포스트

분산 LLM 학습 04 - PyTorch DDP는 내부에서 무엇을 하는가

DDP는 단순 래퍼가 아니라 autograd hook, gradient bucket, process group을 사용해 동기화를 조직하는 런타임이다

PyTorch 내부 구조 18 - Autograd와 Distributed Runtime은 어디서 만나는가

DDP와 FSDP는 autograd 바깥의 마법이 아니라 gradient readiness와 tensor state를 runtime 차원에서 가로채는 구조다