재영의 기술 블로그
홈 아카이브 소개 게임

"model-parallel" 태그가 달린 포스트

January 27, 2026 undefined분 읽기

분산 LLM 학습 08 - Tensor Parallel의 기본: 모델 내부 연산을 어떻게 나누는가

모델이 한 GPU에 안 들어가기 시작하면 더 이상 데이터만 나누는 것으로는 부족하고 연산 자체를 분할해야 한다

Lectures
더 읽기

© 2025 Jae · Notes on systems, software, and building things carefully.

RSS