재영의 기술 블로그
홈 아카이브 소개 게임

"context-length" 태그가 달린 포스트

February 2, 2026 undefined분 읽기

분산 LLM 학습 10 - Sequence Parallel과 긴 컨텍스트의 비용

모델 크기만 커지는 것이 아니라 컨텍스트 길이도 길어지면 activation 메모리와 통신 패턴이 다시 달라진다

Lectures
더 읽기

© 2025 Jae · Notes on systems, software, and building things carefully.

RSS