undefined분 읽기
분산 LLM 학습 15 - FSDP는 DDP와 무엇이 다르고 언제 유리한가
FSDP는 전체 파라미터를 shard한 채 필요할 때만 모아 쓰는 방식으로 메모리 문제를 직접 겨냥한다
Lectures 카테고리
Lectures 카테고리의 모든 포스트
undefined분 읽기
분산 LLM 학습 16 - Communication Overlap은 어떻게 step 시간을 숨기는가
분산 학습 최적화의 핵심은 통신을 없애는 것이 아니라 계산 뒤에 숨어서 끝나게 만드는 데 있다
undefined분 읽기
분산 LLM 학습 17 - Checkpoint, Resume, Fault Tolerance는 왜 핵심인가
긴 분산 학습에서는 빠른 step만큼이나 중단 이후 안전하게 이어가는 능력이 중요하다
undefined분 읽기
분산 LLM 학습 18 - Deadlock, Timeout, OOM: 분산 학습 디버깅의 기본기
분산 학습 디버깅은 에러 메시지 읽기보다 어느 rank가 어떤 collective 앞에서 멈췄는지 구조적으로 좁히는 일이다
undefined분 읽기
분산 LLM 학습 19 - Megatron-LM과 DeepSpeed를 어떻게 읽을 것인가
프레임워크를 이름으로 기억하기보다 어떤 병렬화와 어떤 상태 관리를 추상화하는지로 읽어야 한다
undefined분 읽기
분산 LLM 학습 20 - 실제 LLM 학습 스택을 설계하는 순서
분산 학습 전략은 멋있는 기법을 조합하는 일이 아니라 현재 병목에 맞는 최소 구조를 선택하고 검증하는 일이다
undefined분 읽기
GPU 시스템 01 - GPU Kernel Engineer 로드맵
GPU 아키텍처부터 CUDA, Triton, 커널 최적화까지 어떤 순서로 공부하면 되는지
undefined분 읽기
GPU 시스템 02 - Thread, Warp, Block 실행 모델
GPU의 thread, warp, block, grid가 실제 실행에서 어떤 의미를 가지는지