undefined분 읽기
GPU 시스템 11 - Shared Memory Bank Conflict
shared memory가 빠르다고 끝이 아닌 이유와 bank conflict를 피하는 기본 원리
"cuda" 태그가 달린 포스트
undefined분 읽기
GPU 시스템 12 - Warp Shuffle과 Warp-Level Primitive
warp 내부 데이터 교환을 shared memory 없이 처리하는 warp-level primitive의 의미
undefined분 읽기
GPU 시스템 13 - Reduction Kernel Deep Dive
reduction kernel을 통해 shared memory, warp primitive, synchronization을 한 번에 이해하기
undefined분 읽기
GPU 시스템 14 - Softmax Kernel이 좋은 연습 문제인 이유
softmax kernel 안에 reduction, memory traffic, numerical stability가 어떻게 함께 들어가는지
undefined분 읽기
GPU 시스템 15 - LayerNorm과 RMSNorm Kernel 구조
layernorm과 RMSNorm을 통해 normalization kernel이 왜 memory-bound가 되기 쉬운지 이해하기
undefined분 읽기
GPU 시스템 16 - Vectorized Load/Store와 Alignment
vectorized memory access와 alignment가 bandwidth 활용에 어떤 차이를 만드는지
undefined분 읽기
GPU 시스템 19 - Asynchronous Copy와 Pipelining
memory load와 compute를 더 겹치게 만드는 asynchronous copy와 double buffering의 감각
undefined분 읽기
PyTorch 내부 구조 07 - Tensor Lifetime, Caching Allocator, 메모리 재사용
PyTorch의 CUDA 메모리는 단순 malloc/free가 아니라 caching allocator 위에서 재사용된다