"sharding" 태그가 달린 포스트

분산 LLM 학습 14 - ZeRO Stage 1, 2, 3는 각각 무엇을 없애는가

ZeRO는 하나의 기술이 아니라 어떤 메모리 복제를 줄일 것인지 단계적으로 선택하는 체계다

분산 LLM 학습 15 - FSDP는 DDP와 무엇이 다르고 언제 유리한가

FSDP는 전체 파라미터를 shard한 채 필요할 때만 모아 쓰는 방식으로 메모리 문제를 직접 겨냥한다