"deepspeed" 태그가 달린 포스트

분산 LLM 학습 14 - ZeRO Stage 1, 2, 3는 각각 무엇을 없애는가

ZeRO는 하나의 기술이 아니라 어떤 메모리 복제를 줄일 것인지 단계적으로 선택하는 체계다

분산 LLM 학습 19 - Megatron-LM과 DeepSpeed를 어떻게 읽을 것인가

프레임워크를 이름으로 기억하기보다 어떤 병렬화와 어떤 상태 관리를 추상화하는지로 읽어야 한다