"roadmap" 태그가 달린 포스트

분산 LLM 학습 01 - 왜 LLM 학습은 분산 시스템 문제가 되는가

여러 GPU를 붙이는 순간 학습 코드는 계산만의 문제가 아니라 메모리와 통신, 장애 복구까지 포함한 시스템 문제가 된다

PyTorch 내부 구조 20 - 실제로 PyTorch internals를 실력으로 연결하는 순서

internals 공부의 목적은 trivia 수집이 아니라 custom operator, kernel optimization, distributed runtime으로 자연스럽게 이어지는 감각을 만드는 데 있다