GPU 시스템
GPU 아키텍처, CUDA 커널, Triton, 그리고 실제 커널 최적화까지 이어지는 흐름
GPU가 실제로 어떻게 계산을 수행하는지 이해하고, 나중에는 직접 커널을 작성하고 최적화하고 싶은 엔지니어.
재영의 기술 블로그
나사들어간 이야기
Jae의 기술 노트
개념을 깊게 이해하고 싶은 엔지니어를 위한 시스템 중심 글쓰기.
플랫폼 엔지니어링, 리눅스, 컴파일러, MLOps, 컴퓨터 구조를 다루는 긴 글들을 모았습니다. 용어만 훑는 대신, 실제로 판단할 때 필요한 감각을 만드는 데 초점을 둡니다.
여기서 시작하기
추천 시리즈
처음 들어온 독자에게 좋은 시작점입니다.
최근 글 둘러보기
총 119개 글
새로 올라온 글과 진행 중인 시리즈를 모아봤습니다.
MLOps 기초
데이터 파이프라인부터 프로덕션 모니터링까지, ML 시스템 운영의 기초
모델 실험에서 프로덕션 운영으로 넘어가려는 ML 엔지니어, 데이터 사이언티스트, 백엔드 엔지니어.
오토마타와 컴파일러
유한 오토마타와 형식 언어부터 컴파일러 구현까지
언어 처리 이론과 실제 컴파일러 구현 사이의 연결을 함께 보고 싶은 독자.
UPDATED
- GPU 시스템 20 - Nsight, Triton, FlashAttention까지 이어지는 실전 흐름 NEW
- GPU 시스템 19 - Asynchronous Copy와 Pipelining
- GPU 시스템 18 - Tensor Core와 Mixed Precision
- GPU 시스템 17 - Register Pressure와 Spill
- GPU 시스템 16 - Vectorized Load/Store와 Alignment
- GPU 시스템 15 - LayerNorm과 RMSNorm Kernel 구조
- GPU 시스템 14 - Softmax Kernel이 좋은 연습 문제인 이유
- GPU 시스템 13 - Reduction Kernel Deep Dive
- GPU 시스템 12 - Warp Shuffle과 Warp-Level Primitive
- GPU 시스템 11 - Shared Memory Bank Conflict
- GPU 시스템 10 - Tiled Matrix Multiply와 Shared Memory
- GPU 시스템 09 - Naive Matrix Multiply가 느린 이유
- GPU 시스템 08 - 프로파일링과 Roofline 관점
- GPU 시스템 07 - Occupancy와 Latency Hiding
- GPU 시스템 06 - Triton과 Kernel Optimization 실전 감각
- GPU 시스템 05 - Coalescing, Shared Memory, Reduction 패턴
- GPU 시스템 04 - CUDA Kernel 작성과 Launch Configuration
- GPU 시스템 03 - Memory Hierarchy와 Bandwidth
- GPU 시스템 02 - Thread, Warp, Block 실행 모델
- GPU 시스템 01 - GPU Kernel Engineer 로드맵
- GPU 시스템 00 - 이 시리즈를 보기 전에 필요한 것들
- 오토마타와 컴파일러 12 - 코드 생성
- 오토마타와 컴파일러 11 - 중간 표현과 최적화
- 오토마타와 컴파일러 10 - 의미 분석과 타입 검사
- 오토마타와 컴파일러 09 - 추상 구문 트리
- 오토마타와 컴파일러 08 - 상향식 파싱
- 오토마타와 컴파일러 07 - 하향식 파싱
- 오토마타와 컴파일러 06 - 어휘 분석
- 오토마타와 컴파일러 05 - 컴파일러 개요 — 단계와 구조
- 오토마타와 컴파일러 04 - 푸시다운 오토마타
- 오토마타와 컴파일러 03 - 문맥 자유 문법
- 오토마타와 컴파일러 02 - 정규 표현식과 정규 언어
- 오토마타와 컴파일러 01 - 유한 오토마타
- 플랫폼 엔지니어링 11 - 플랫폼 팀 만들기
- 플랫폼 엔지니어링 10 - 보안과 거버넌스
- 플랫폼 엔지니어링 09 - 플랫폼 엔지니어를 위한 관측 가능성
- 플랫폼 엔지니어링 08 - 대규모 CI/CD
- 플랫폼 엔지니어링 07 - 제품으로서의 플랫폼
- 플랫폼 엔지니어링 06 - 개발자 포털과 서비스 카탈로그
- 플랫폼 엔지니어링 05 - 플랫폼을 위한 Infrastructure as Code
- 플랫폼 엔지니어링 04 - 골든 패스 설계하기
- 플랫폼 엔지니어링 03 - 개발자 경험이 북극성인 이유
- 플랫폼 엔지니어링 02 - 내부 개발자 플랫폼의 구조
- 플랫폼 엔지니어링 01 - 플랫폼 엔지니어링이란?
- 분산 LLM 학습 20 - 실제 LLM 학습 스택을 설계하는 순서
- 분산 LLM 학습 19 - Megatron-LM과 DeepSpeed를 어떻게 읽을 것인가
- 분산 LLM 학습 18 - Deadlock, Timeout, OOM: 분산 학습 디버깅의 기본기
- 분산 LLM 학습 17 - Checkpoint, Resume, Fault Tolerance는 왜 핵심인가
- 분산 LLM 학습 16 - Communication Overlap은 어떻게 step 시간을 숨기는가
- 분산 LLM 학습 15 - FSDP는 DDP와 무엇이 다르고 언제 유리한가
- 분산 LLM 학습 14 - ZeRO Stage 1, 2, 3는 각각 무엇을 없애는가
- 분산 LLM 학습 13 - Activation Checkpointing과 Recomputation의 트레이드오프
- 분산 LLM 학습 12 - GPipe, 1F1B, Interleaving: Pipeline Schedule은 어떻게 고르는가
- 분산 LLM 학습 11 - Pipeline Parallel의 기본과 Stage 분할 감각
- 분산 LLM 학습 10 - Sequence Parallel과 긴 컨텍스트의 비용
- 분산 LLM 학습 09 - Transformer에서 Tensor Parallel이 실제로 들어가는 위치
- 분산 LLM 학습 08 - Tensor Parallel의 기본: 모델 내부 연산을 어떻게 나누는가
- 분산 LLM 학습 07 - NCCL과 토폴로지: 왜 같은 GPU 수인데 속도가 다를까
- 분산 LLM 학습 06 - LLM 학습의 메모리는 어디에 쓰이는가
- 분산 LLM 학습 05 - Global Batch Size, Gradient Accumulation, Learning Rate Scaling
- 분산 LLM 학습 04 - PyTorch DDP는 내부에서 무엇을 하는가
- 분산 LLM 학습 03 - All-Reduce, Ring, 그리고 통신 비용 읽는 법
- 분산 LLM 학습 02 - Synchronous SGD와 Data Parallel의 진짜 비용
- 분산 LLM 학습 01 - 왜 LLM 학습은 분산 시스템 문제가 되는가
- PyTorch 내부 구조 20 - 실제로 PyTorch internals를 실력으로 연결하는 순서
- PyTorch 내부 구조 19 - Extension Packaging, Testing, ABI 안정성
- PyTorch 내부 구조 18 - Autograd와 Distributed Runtime은 어디서 만나는가
- PyTorch 내부 구조 17 - Triton은 PyTorch 안에서 어떤 역할을 하는가
- PyTorch 내부 구조 16 - FX, torch.compile, Inductor의 큰 그림
- PyTorch 내부 구조 15 - PyTorch Profiling으로 Operator 병목 읽기
- PyTorch 내부 구조 14 - AMP, Autocast, Numerical Stability
- PyTorch 내부 구조 13 - Fused Operator는 언제 가치가 있는가
- PyTorch 내부 구조 12 - Backward 구현 패턴과 저장 전략
- PyTorch 내부 구조 11 - Operator Schema, Dispatch Key, Meta 함수
- PyTorch 내부 구조 10 - CUDA Extension으로 Custom Kernel 연결하기
- PyTorch 내부 구조 09 - C++ Extension의 기본 경로
- PyTorch 내부 구조 08 - CUDA Stream, Event, Asynchronous Execution
- PyTorch 내부 구조 07 - Tensor Lifetime, Caching Allocator, 메모리 재사용
- PyTorch 내부 구조 06 - Custom Autograd Function을 언제 어떻게 써야 하는가
- PyTorch 내부 구조 05 - Autograd Graph와 Engine은 어떻게 동작하는가
- PyTorch 내부 구조 04 - Dispatcher와 Operator Registry는 무엇을 하는가
- PyTorch 내부 구조 03 - Contiguous, Memory Format, Hidden Copy
- PyTorch 내부 구조 02 - Tensor는 storage, size, stride 위에서 동작한다
- PyTorch 내부 구조 01 - 왜 PyTorch internals를 알아야 하는가
undefined분 읽기
분산 LLM 학습 10 - Sequence Parallel과 긴 컨텍스트의 비용
모델 크기만 커지는 것이 아니라 컨텍스트 길이도 길어지면 activation 메모리와 통신 패턴이 다시 달라진다
undefined분 읽기
GPU 시스템 02 - Thread, Warp, Block 실행 모델
GPU의 thread, warp, block, grid가 실제 실행에서 어떤 의미를 가지는지
undefined분 읽기
PyTorch 내부 구조 10 - CUDA Extension으로 Custom Kernel 연결하기
CUDA kernel을 PyTorch operator로 만들려면 kernel 코드뿐 아니라 tensor contract와 runtime semantics를 함께 맞춰야 한다
undefined분 읽기
분산 LLM 학습 09 - Transformer에서 Tensor Parallel이 실제로 들어가는 위치
tensor parallel은 추상 개념이 아니라 attention projection, output projection, MLP 같은 구체적인 지점에 들어간다
undefined분 읽기
GPU 시스템 01 - GPU Kernel Engineer 로드맵
GPU 아키텍처부터 CUDA, Triton, 커널 최적화까지 어떤 순서로 공부하면 되는지
undefined분 읽기
PyTorch 내부 구조 09 - C++ Extension의 기본 경로
C++ extension은 PyTorch runtime과 사용자 정의 연산을 연결하는 첫 번째 실전 관문이다