Wie GPU Matmul-Kernels funktionieren

In diesem Artikel werden die Architektur, die Zusammenstellung und die Techniken des Kernel-Designs hinter der hochleistungsfähigen Matrixmultiplikation auf NVIDIA GPUs untersucht, insbesondere im Hinblick auf die Hopper-Architektur. Matrixmultiplikation (matmul) ist eine zentrale Operation in vielen modernen KI-Anwendungen, insbesondere in Transformern, die während des Trainings und der Inferenz die meisten FLOPs (Floating Point Operations) verbrauchen.

Der Artikel ist in vier Hauptteile gegliedert:

1. Grundlagen der NVIDIA GPU-Architektur

Um leistungsfähige GPU-Kernels zu schreiben, ist ein solides Verständnis der Hardware erforderlich. Die Hopper H100 GPU wird als Beispiel verwendet. Die GPU führt zwei wesentliche Aufgaben aus: Daten bewegen und speichern (Speichersystem) und nützliche Arbeiten mit den Daten durchführen (Rechenpipelines).

Speichersystem

Das Speichersystem in einer GPU ist hierarchisch strukturiert, ähnlich wie in CPU-Architekturen. Diese Hierarchie wird durch physikalische und schaltungstechnische Gegebenheiten bestimmt. Es gibt verschiedene Speichertypen, darunter:

• Gerätespeicher (VRAM): Off-chip DRAM, das globalen Speicher (GMEM) und lokale Thread-Speicher (Register) enthält.
• L2-Cache: Ein großer, k-weiser assoziativer Cache, der aus SRAM besteht.
• Verteilte gemeinsame Speicher (DSMEM): Gemeinsame Speicher von physisch nahen SMs.
• L1-Cache und gemeinsamer Speicher (SMEM): Programmierbar verwalteter On-Chip-Speicher.
• Registerdatei (RMEM): Der schnellste Speicher, der sich direkt neben den Recheneinheiten befindet.

Recheneinheiten

Die grundlegende Einheit ist der Streaming-Multiprozessor (SM). Die Hopper H100 integriert insgesamt 132 SMs, die in Grafikverarbeitungscluster (GPCs) gruppiert sind. Jeder SM enthält spezialisierte Einheiten, die Matrixmultiplikationen auf kleinen Kacheln mit hoher Durchsatzrate ausführen.

2. GPU-Assemblersprachen: PTX und SASS

Die menschlich lesbare Form einer ISA (Instruction Set Architecture) wird als Assemblersprache bezeichnet. Auf NVIDIA GPUs ist die native ISA als SASS bekannt. PTX ist die virtuelle ISA von NVIDIA, die eine Abstraktion der GPU darstellt. Der Vorteil von PTX ist die Vorwärtskompatibilität, da ein CUDA-Programm, das vor Jahren kompiliert wurde, auch auf modernen GPUs ausgeführt werden kann.

3. Entwerfen von nahezu SOTA synchronen Matmul-Kernels

Hier wird die Warp-Tiling-Methode vorgestellt, die eine Technik zur Optimierung der Matrixmultiplikation darstellt. Diese Methode ermöglicht es, die Berechnungen in kleinere Blöcke zu unterteilen, die in den gemeinsamen Speicher passen, um die GMEM-Verkehr zu reduzieren und die Leistung zu steigern.

4. Entwerfen von SOTA asynchronen Matmul-Kernels auf Hopper

In diesem Abschnitt werden die neuesten Hardwarefunktionen wie TMA (Tensor Memory Accelerator) und Tensor Cores verwendet, um die Leistung der Matrixmultiplikation erheblich zu steigern. Die Verwendung von TMA ermöglicht asynchrone Datenübertragungen zwischen globalem und gemeinsamem Speicher, was die Effizienz weiter erhöht.

Optimierungen und Techniken

Der Artikel hebt die Bedeutung von Speicherverwaltung in der GPU-Programmierung hervor, insbesondere die Hierarchie der Speichersysteme, um Latenz zu minimieren und den Durchsatz zu maximieren. Techniken wie Swizzling und die Verwendung von Tensor Cores werden ebenfalls behandelt, um die Leistung zu optimieren.

Fazit

Das Verständnis der Hardware-Architektur und der Programmiermodelle ist entscheidend für die Entwicklung effizienter GPU-Kernels. Durch die Anwendung der beschriebenen Techniken können Entwickler die Leistung ihrer Anwendungen erheblich steigern.

Quellenliste:

• Quelle: NVIDIA Hopper Architecture In-Depth
• NVIDIA Ampere Architecture In-Depth
• Strangely, Matrix Multiplications on GPUs Run Faster When Given “Predictable” Data!
• How CUDA Programming Works
• Notes About Nvidia GPU Shared Memory Banks
• CUDA Binary Utilities
• Lecture 37: Introduction to SASS & GPU Microarchitecture
• Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking
• How to Optimize a CUDA Matmul Kernel for cuBLAS-like Performance: a Worklog
• CUDA C programming guide
• Lecture 44: NVIDIA Profiling
• SGEMM_CUDA
• CUTLASS: Fast Linear Algebra in CUDA C++
• Efficient GEMM in CUDA
• Outperforming cuBLAS on H100: a Worklog
• Deep Dive on CUTLASS Ping-Pong GEMM Kernel
• fast.cu
• Understanding CuTe Swizzling – The Math Behind 32B, 64B, and 128B Patterns
• Parallel Thread Execution
• Inline PTX Assembly in CUDA
• Demystifying the Characteristics of High Bandwidth Memory for Real-Time Systems
• Triton