"fsdp" 태그가 달린 포스트

분산 LLM 학습 15 - FSDP는 DDP와 무엇이 다르고 언제 유리한가

FSDP는 전체 파라미터를 shard한 채 필요할 때만 모아 쓰는 방식으로 메모리 문제를 직접 겨냥한다

분산 LLM 학습 19 - Megatron-LM과 DeepSpeed를 어떻게 읽을 것인가

프레임워크를 이름으로 기억하기보다 어떤 병렬화와 어떤 상태 관리를 추상화하는지로 읽어야 한다

PyTorch 내부 구조 18 - Autograd와 Distributed Runtime은 어디서 만나는가

DDP와 FSDP는 autograd 바깥의 마법이 아니라 gradient readiness와 tensor state를 runtime 차원에서 가로채는 구조다