"kernel" 태그가 달린 포스트

GPU 시스템 04 - CUDA Kernel 작성과 Launch Configuration

CUDA kernel을 직접 작성할 때 indexing과 launch configuration을 어떤 기준으로 잡아야 하는지

GPU 시스템 15 - LayerNorm과 RMSNorm Kernel 구조

layernorm과 RMSNorm을 통해 normalization kernel이 왜 memory-bound가 되기 쉬운지 이해하기

리눅스 내부 구조 01 - 운영체제 개요

운영체제가 하는 일과 리눅스 커널이 어떤 역할을 담당하는지

리눅스 내부 구조 06 - 시스템 콜과 커널

시스템 콜이 유저 공간에서 커널 공간으로 전환되는 과정과 커널 모듈의 동작 원리

PyTorch 내부 구조 10 - CUDA Extension으로 Custom Kernel 연결하기

CUDA kernel을 PyTorch operator로 만들려면 kernel 코드뿐 아니라 tensor contract와 runtime semantics를 함께 맞춰야 한다

PyTorch 내부 구조 13 - Fused Operator는 언제 가치가 있는가

fused op는 launch overhead 감소뿐 아니라 메모리 접근과 intermediate materialization을 줄이기 위해 설계된다

PyTorch 내부 구조 17 - Triton은 PyTorch 안에서 어떤 역할을 하는가

Triton은 별도 장난감 언어가 아니라 PyTorch의 modern kernel story와 직접 연결되는 계층이다