undefined분 읽기
GPU 시스템 10 - Tiled Matrix Multiply와 Shared Memory
tiled matmul에서 shared memory와 block 협업이 왜 큰 성능 차이를 만드는지
"gpu" 태그가 달린 포스트
undefined분 읽기
GPU 시스템 11 - Shared Memory Bank Conflict
shared memory가 빠르다고 끝이 아닌 이유와 bank conflict를 피하는 기본 원리
undefined분 읽기
GPU 시스템 12 - Warp Shuffle과 Warp-Level Primitive
warp 내부 데이터 교환을 shared memory 없이 처리하는 warp-level primitive의 의미
undefined분 읽기
GPU 시스템 13 - Reduction Kernel Deep Dive
reduction kernel을 통해 shared memory, warp primitive, synchronization을 한 번에 이해하기
undefined분 읽기
GPU 시스템 14 - Softmax Kernel이 좋은 연습 문제인 이유
softmax kernel 안에 reduction, memory traffic, numerical stability가 어떻게 함께 들어가는지
undefined분 읽기
GPU 시스템 15 - LayerNorm과 RMSNorm Kernel 구조
layernorm과 RMSNorm을 통해 normalization kernel이 왜 memory-bound가 되기 쉬운지 이해하기
undefined분 읽기
GPU 시스템 16 - Vectorized Load/Store와 Alignment
vectorized memory access와 alignment가 bandwidth 활용에 어떤 차이를 만드는지
undefined분 읽기
GPU 시스템 18 - Tensor Core와 Mixed Precision
tensor core가 어떤 종류의 연산에서 큰 성능 차이를 만들고 mixed precision과 어떻게 연결되는지