January 9, 2026 undefined분 읽기 분산 LLM 학습 02 - Synchronous SGD와 Data Parallel의 진짜 비용 가장 기본적인 분산 학습 방식인 data parallel은 단순해 보이지만 gradient 동기화와 메모리 복제 비용을 함께 안고 있다