재영의 기술 블로그
홈 아카이브 소개 게임

"micro-batch" 태그가 달린 포스트

February 5, 2026 undefined분 읽기

분산 LLM 학습 11 - Pipeline Parallel의 기본과 Stage 분할 감각

모델을 레이어 단위로 여러 stage에 나누는 순간 계산 분할뿐 아니라 idle time과 stage imbalance가 핵심 문제가 된다

Lectures
더 읽기

© 2025 Jae · Notes on systems, software, and building things carefully.

RSS