"transformer" 태그가 달린 포스트

분산 LLM 학습 09 - Transformer에서 Tensor Parallel이 실제로 들어가는 위치

tensor parallel은 추상 개념이 아니라 attention projection, output projection, MLP 같은 구체적인 지점에 들어간다