Wie Hardware-Einschränkungen schnelle KI-Entwicklungen verhindern

Die jüngsten algorithmischen Durchbrüche bei großen Sprachmodellen (LLMs), wie die Transformer-Architektur, Multi-Query-Attention und Mixture-of-Experts-Systeme, zeigen nur dann erhebliche Vorteile (10-50-fache Leistungssteigerungen), wenn sie mit massiven Rechenressourcen implementiert werden. Dies stellt die Vorhersagen einer schnellen Selbstverbesserung von KI in Frage, da Hardwarebeschränkungen wie Exportkontrollen für Chips, Grenzen des Energieverbrauchs und Engpässe in der Kühlinfrastruktur ein Szenario einer ‘Intelligenzexplosion’ erheblich einschränken würden.

Einleitung

In der Debatte über die Möglichkeit einer Software-Intelligenzexplosion kommt es entscheidend darauf an, ob wichtige algorithmische Verbesserungen von kleinen Modellen auf größere Modelle skalierbar sind. Wenn die bedeutendsten algorithmischen Fortschritte eine große Menge an Rechenleistung benötigen, um ihre Wirksamkeit zu demonstrieren, dann ist eine explosionsartige Steigerung der Softwareintelligenz weniger wahrscheinlich. Dies könnte dazu führen, dass ein schneller Fortschritt durch Rechenbeschränkungen behindert wird.

Algorithmische Fortschritte: Compute-abhängig vs. Compute-unabhängig

In einer aktuellen Untersuchung hat mein Team an der UChicago’s XLab die Literatur durchgesehen und einige kleine Tests durchgeführt, um diese Fragestellung zu untersuchen. Wir haben algorithmische Fortschritte in zwei Kategorien eingeteilt:

• Compute-unabhängig: Die Vorteile des Fortschritts treten bereits in kleinen Maßstäben auf und setzen sich bei steigender Skalierung fort oder beschleunigen sich.
• Compute-abhängig: Die Vorteile des Fortschritts treten nur bei hohen Rechenressourcen auf, und der algorithmische Fortschritt bietet bei niedrigen Rechenressourcen wenig Nutzen (oder schadet sogar der Leistung).

Unsere Untersuchung begann mit der Analyse der architektonischen Entwicklung von Sprachmodellen seit 2017, wobei wir uns auf gut dokumentierte Modellfamilien konzentrierten, deren Implementierungsdetails öffentlich verfügbar sind: frühe GPT-Modelle, BERT-Varianten, LLaMAs und DeepSeek.

Die Rolle von Hardware und Algorithmen

Die Ergebnisse unserer Untersuchung zeigen, dass die bedeutendsten algorithmischen Fortschritte, wie die Transformer-Architektur, stark von der verfügbaren Rechenleistung abhängen. Diese Innovationen bieten oft nur minimale oder gar keine Vorteile in kleineren Maßstäben, entfalten jedoch bei ausreichender Rechenleistung ihre volle Wirkung und führen zu erheblichen Verbesserungen (10-50-fache Leistungssteigerungen).

Beispiele für Compute-abhängige Innovationen

Ein anschauliches Beispiel ist das DeepSeek-V3-Modell aus China, das trotz Exportkontrollen, die den Zugang zu leistungsstarken Chips einschränkten, eine beeindruckende Leistung erzielte. Der letzte Trainingslauf für das 671B-Parameter-Modell benötigte nur 2,788 Millionen GPU-Stunden. Im Vergleich dazu benötigte das LLaMA 3.1-405B-Instruct-Modell etwa 30,84 Millionen Stunden auf leistungsstärkeren GPUs.

Wie konnte DeepSeek eine so starke Leistung trotz der Rechenbeschränkungen erreichen? Durch algorithmische Verbesserungen wie multi-headed latent attention, eine Mixture-of-Experts-Architektur und Mixed-Precision-Training. Diese Fortschritte zeigen, dass auch mit Hardwareeinschränkungen bedeutende Fortschritte erzielt werden können.

Fazit

Zusammenfassend lässt sich sagen, dass algorithmische Fortschritte signifikant mit der Rechenleistung interagieren. Während compute-unabhängige Fortschritte einen Weg für Fortschritte auch bei Hardwarebeschränkungen bieten, stammen die größten historischen Gewinne von compute-abhängigen Innovationen, die erhebliche Skalierung erfordern, um entwickelt und validiert zu werden. Das Verständnis dieser Unterscheidung ist entscheidend für die Gestaltung effektiver Governance und die Vorhersage des Fortschritts von KI.

Quellenliste:

• Quelle: How Fast Can Algorithms Advance Capabilities?
• AI 2027
• Preprint zur Untersuchung