"all-reduce" 태그가 달린 포스트

분산 LLM 학습 02 - Synchronous SGD와 Data Parallel의 진짜 비용

가장 기본적인 분산 학습 방식인 data parallel은 단순해 보이지만 gradient 동기화와 메모리 복제 비용을 함께 안고 있다

분산 LLM 학습 03 - All-Reduce, Ring, 그리고 통신 비용 읽는 법

분산 학습에서 가장 자주 등장하는 collective인 all-reduce를 이해해야 gradient synchronization 비용을 제대로 읽을 수 있다