Andrej Karpathy über die Entwicklungen der LLMs im Jahr 2025

2025 war ein starkes und ereignisreiches Jahr für die Fortschritte im Bereich der Large Language Models (LLMs). In diesem Artikel werfen wir einen Blick auf die bemerkenswerten Paradigmenwechsel, die die Landschaft der LLMs verändert haben, basierend auf den Erkenntnissen von Andrej Karpathy.

Einleitung

Die Entwicklungen im Bereich der LLMs haben in den letzten Jahren rasant zugenommen. 2025 war ein Jahr, das durch bedeutende Fortschritte und neue Ansätze geprägt war. Andrej Karpathy hat einige der wichtigsten Veränderungen zusammengefasst, die die Art und Weise, wie wir LLMs verstehen und einsetzen, revolutioniert haben.

1. Reinforcement Learning von verifizierbaren Belohnungen (RLVR)

Zu Beginn des Jahres 2025 sah der Produktionsprozess von LLMs in den meisten Laboren folgendermaßen aus: Pretraining, supervised finetuning und Reinforcement Learning von menschlichem Feedback (RLHF). Diese Methoden waren lange Zeit die bewährte Vorgehensweise zur Ausbildung leistungsstarker LLMs. Im Jahr 2025 trat jedoch das Reinforcement Learning von verifizierbaren Belohnungen (RLVR) als neuer entscheidender Schritt in den Vordergrund. Durch das Training von LLMs mit automatisch verifizierbaren Belohnungen in verschiedenen Umgebungen, wie beispielsweise mathematischen oder Programmierpuzzles, entwickelten die Modelle Strategien, die für Menschen wie „Denken“ erscheinen. Sie lernten, Probleme in Zwischenberechnungen zu zerlegen und verschiedene Problemlösungsstrategien zu entwickeln.

2. Geister vs. Tiere: Jagged Intelligence

2025 war das Jahr, in dem Karpathy und die Branche begannen, die „Form“ der LLM-Intelligenz intuitiver zu verstehen. Anstatt LLMs als „evolvierende Tiere“ zu betrachten, sahen sie sie eher als „herbeigerufene Geister“. Diese Sichtweise zeigt, dass die neuronalen Architekturen und Trainingsdaten von LLMs grundlegend anders sind als die menschlichen. LLMs sind darauf optimiert, menschlichen Text zu imitieren und Belohnungen in spezifischen Aufgaben zu sammeln, was zu einer „jagged performance“ führt – sie können gleichzeitig wie ein Genie und wie ein verwirrter Schüler agieren.

3. Cursor: Eine neue Schicht von LLM-Anwendungen

Eine der bemerkenswertesten Entwicklungen war die Einführung von Cursor, einer Anwendung, die eine neue Schicht von LLM-Apps demonstriert. Cursor bündelt und orchestriert LLM-Aufrufe für spezifische Anwendungsfälle, optimiert die Leistung und Kosten und bietet eine benutzerfreundliche Oberfläche für die Interaktion. Diese neue App-Schicht könnte die Art und Weise, wie LLMs in verschiedenen Branchen eingesetzt werden, revolutionieren.

4. Claude Code: KI, die auf Ihrem Computer lebt

Claude Code stellte die erste überzeugende Demonstration eines LLM-Agenten dar, der Tool-Nutzung und Problemlösung kombiniert. Im Gegensatz zu vielen anderen KI-Lösungen läuft Claude Code lokal auf dem Computer des Nutzers, was eine neue Interaktionsweise mit KI ermöglicht. Diese Entwicklung könnte die Art und Weise, wie wir mit KI-Tools arbeiten, grundlegend verändern.

5. Vibe Coding: Programmieren für alle

2025 war auch das Jahr, in dem das Konzept des Vibe Codings aufkam. Diese Methode ermöglicht es Menschen, Programme einfach durch natürliche Sprache zu erstellen, ohne tiefgehende Programmierkenntnisse zu besitzen. Vibe Coding fördert die Zugänglichkeit von Programmierung und könnte die Softwareentwicklung revolutionieren, indem sie es mehr Menschen ermöglicht, aktiv an der Erstellung von Software teilzunehmen.

6. Google Gemini Nano Banana: Ein Paradigmenwechsel

Ein weiteres bemerkenswertes Modell, das 2025 vorgestellt wurde, ist Google Gemini Nano Banana. Dieses Modell zeigt, wie LLMs als neue Rechenparadigmen fungieren können, ähnlich wie Computer in den 70er und 80er Jahren. Die Benutzeroberfläche wird zunehmend visuell und interaktiv, was die Art und Weise, wie Menschen mit LLMs interagieren, grundlegend verändern könnte.

Fazit und Ausblick

Zusammenfassend lässt sich sagen, dass 2025 ein aufregendes Jahr für LLMs war, das zahlreiche überraschende Entwicklungen mit sich brachte. Die LLMs zeigen sich als neue Art von Intelligenz, die sowohl smarter als auch dümmer ist, als man erwarten könnte. Es bleibt abzuwarten, wie sich diese Technologien weiterentwickeln und welche neuen Möglichkeiten sie in der Zukunft bieten werden.

Quellenliste:

• Quelle: ANDREJ KARPATHY’S 2025 LLM YEAR IN REVIEW
• Animals vs. Ghosts
• Verifiability
• Power to the People
• Y Combinator Talk