Quantisierung ist kein Kompromiss – es ist das nächste Paradigma

Kürzlich hat die Veröffentlichung von K2-Thinking das Interesse vieler Entwickler geweckt, insbesondere in Bezug auf das native INT4-Quantisierungsformat. Dieses Format beschleunigt das Training von Reinforcement Learning (RL) aufgrund seines geringen Latenzprofils. Quantisierung ist nicht länger ein Trade-off; native Low-Bit-Quantisierung wird mit der Evolution von Param-Skalierung und Testzeit-Skalierung zum Standardparadigma für das Training großer Modelle.

Warum Low-Bit-Quantisierung wichtig ist

In der modernen Inferenz von großen Sprachmodellen (LLMs) gibt es zwei wesentliche Optimierungsziele:

• Hoher Durchsatz (kostenorientiert): Maximierung der GPU-Auslastung durch große Batch-Größen.
• Niedrige Latenz (benutzerorientiert): Minimierung der Antwortzeit pro Anfrage.

Die MoE-Struktur von Kimi-K2 (mit 1/48 Sparsamkeit) ist speichergebunden – je kleiner die Modellgewichte, desto schneller die Berechnungen. FP8-Gewichte (≈1 TB) erreichen bereits die Grenze dessen, was ein einzelner Hochgeschwindigkeits-GPU-Knoten verarbeiten kann.

Der Vorteil von INT4 für RL

Ein oft übersehener Vorteil von INT4 ist, dass es nicht nur die Inferenz beschleunigt, sondern auch das RL-Training selbst. Da RL-Rollouts häufig unter “Long-Tail”-Ineffizienz leiden, macht das niedrige Latenzprofil von INT4 diese Phasen wesentlich schneller. In der Praxis läuft jede RL-Iteration 10-20% schneller von Anfang bis Ende. Darüber hinaus bringt quantisiertes RL Stabilität: Ein kleinerer darstellungsraum reduziert die Akkumulationsfehler und verbessert die Robustheit des Lernens.

QAT versus PTQ

Post-Training-Quantisierung (PTQ) hat sich gut für kürzere Generationen bewährt, aber bei längeren Denkketten versagt sie:

• Fehlerakkumulation während des langen Decodings verschlechtert die Präzision.
• Die Abhängigkeit von Kalibrierungsdaten führt zu “Expertendistortion” in sparsamen MoE-Schichten.

Daher hat K2-Thinking QAT (Quantization Aware Training) übernommen, um Verluste zu minimieren und stabileres langes Kontextdenken zu ermöglichen. K2-Thinking verwendet eine gewichtsbasierte QAT mit Fake-Quantisierung und STE (Straight-Through Estimator). Die Pipeline wurde innerhalb weniger Tage vollständig integriert – von QAT-Training über INT4-Inferenz bis hin zu RL-Rollouts – und ermöglicht nahezu verlustfreie Ergebnisse ohne zusätzliche Tokens oder Retraining.

Die Zukunft der Quantisierung

W4A16 ist nur der Anfang – W4A8 und sogar W4A4 stehen bereits am Horizont. Mit der Einführung neuer Chips, die FP4-native Operatoren unterstützen, wird sich der Quantisierungsweg von Kimi weiterentwickeln. In der Ära der LLMs steht die Quantisierung neben SOTA und Frontier. Es ist kein Patch – es ist der Weg, wie wir die Grenze schneller erreichen werden.

Quellenliste:

• Quelle: Quantization is not a compromise — it’s the next paradigm
• Full article (in Chinese)