재영의 기술 블로그
홈 아카이브 소개 게임

"megatron" 태그가 달린 포스트

March 1, 2026 undefined분 읽기

분산 LLM 학습 19 - Megatron-LM과 DeepSpeed를 어떻게 읽을 것인가

프레임워크를 이름으로 기억하기보다 어떤 병렬화와 어떤 상태 관리를 추상화하는지로 읽어야 한다

Lectures
더 읽기

© 2025 Jae · Notes on systems, software, and building things carefully.

RSS