"communication" 태그가 달린 포스트

분산 LLM 학습 03 - All-Reduce, Ring, 그리고 통신 비용 읽는 법

분산 학습에서 가장 자주 등장하는 collective인 all-reduce를 이해해야 gradient synchronization 비용을 제대로 읽을 수 있다

분산 LLM 학습 16 - Communication Overlap은 어떻게 step 시간을 숨기는가

분산 학습 최적화의 핵심은 통신을 없애는 것이 아니라 계산 뒤에 숨어서 끝나게 만드는 데 있다