재영의 기술 블로그
홈 아카이브 소개 게임

"1f1b" 태그가 달린 포스트

February 8, 2026 undefined분 읽기

분산 LLM 학습 12 - GPipe, 1F1B, Interleaving: Pipeline Schedule은 어떻게 고르는가

pipeline parallel의 효율은 레이어 분할보다 schedule 선택에 더 크게 흔들릴 때가 많다

Lectures
더 읽기

© 2025 Jae · Notes on systems, software, and building things carefully.

RSS