DeepSeek’s R1 überholt xAI, Meta und Anthropic

DeepSeek R1 0528 hat einen bemerkenswerten Sprung im Artificial Analysis Intelligence Index gemacht, von 60 auf 68. Damit positioniert sich das Modell als intelligenter als xAI’s Grok 3 mini, NVIDIA’s Llama Nemotron Ultra und andere.

Einführung in den Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein unabhängiges Bewertungssystem, das die Leistung führender KI-Modelle vergleicht. Die jüngsten Ergebnisse zeigen, dass DeepSeek R1 nun gleichauf mit Google’s Gemini 2.5 Pro ist und die zweite Position unter den KI-Labors weltweit einnimmt.

Die Verbesserungen des DeepSeek R1

Die Verbesserung des DeepSeek R1 ist bemerkenswert und zeigt sich in mehreren Bereichen:

• Intelligenzsteigerungen: Die größten Sprünge wurden in den Bereichen AIME 2024 (+21 Punkte), LiveCodeBench (+15 Punkte), GPQA Diamond (+10 Punkte) und Humanity’s Last Exam (+6 Punkte) verzeichnet.
• Architektur: Es gab keine Änderungen an der Architektur. R1-0528 ist ein Post-Training-Update ohne Änderungen an der V3/R1-Architektur und bleibt ein großes Modell mit 671B Gesamtparametern und 37B aktiven Parametern.
• Verbesserte Codierungsfähigkeiten: R1 erreicht nun die gleichen Ergebnisse wie Gemini 2.5 Pro im Artificial Analysis Coding Index und liegt nur hinter o4-mini (hoch) und o3.
• Erhöhter Tokenverbrauch: R1-0528 verwendete 99 Millionen Tokens, um die Bewertungen im Artificial Analysis Intelligence Index abzuschließen, was 40% mehr ist als die ursprünglichen 71 Millionen Tokens des R1.

Schlussfolgerungen für die KI-Entwicklung

Die Ergebnisse zeigen, dass der Abstand zwischen offenen und geschlossenen Modellen kleiner wird. Die offenen Gewichtsmodelle haben weiterhin Intelligenzgewinne erzielt, die mit den proprietären Modellen Schritt halten. Dies ist ein bedeutender Fortschritt für die KI-Landschaft.

Darüber hinaus bleibt China mit den US-amerikanischen KI-Labors gleichauf. Die Modelle aus chinesischen KI-Labors haben fast vollständig zu ihren US-Kollegen aufgeholt, was sich in den aktuellen Ergebnissen widerspiegelt.

Die Bedeutung von Reinforcement Learning

Die Verbesserungen bei DeepSeek zeigen, dass Reinforcement Learning eine entscheidende Rolle bei der Steigerung der Intelligenz spielt. DeepSeek hat gezeigt, dass sie mit der gleichen Architektur und dem gleichen Pre-Training signifikante Fortschritte erzielen können, was die Wichtigkeit von Post-Training unterstreicht.

Fazit

Mit dem Update von DeepSeek R1 hat das Unternehmen seine Position als führendes KI-Labor gefestigt. Die kontinuierlichen Fortschritte in der offenen KI-Entwicklung zeigen, dass Innovation und Wettbewerb in diesem Bereich weiterhin florieren.

Quellenliste:

• Quelle: DeepSeek’s R1 leaps over xAI, Meta and Anthropic