undefined분 읽기
분산 LLM 학습 09 - Transformer에서 Tensor Parallel이 실제로 들어가는 위치
tensor parallel은 추상 개념이 아니라 attention projection, output projection, MLP 같은 구체적인 지점에 들어간다
tensor parallel은 추상 개념이 아니라 attention projection, output projection, MLP 같은 구체적인 지점에 들어간다