Reinforcement Learning: Ein Überblick mit minimalem mathematischen Jargon

Reinforcement Learning (RL) lehrt KI-Modelle durch Versuch und Irrtum, anstatt nur menschliche Beispiele zu kopieren. Dies ermöglicht es ihnen, aus Fehlern zu lernen und sich auf komplexe Aufgaben zu konzentrieren. Obwohl RL schon immer Teil des Trainings von LLMs war, haben Unternehmen kürzlich begonnen, zwei neue Ansätze zu verwenden, um die Menge der verfügbaren Daten zu skalieren: die Verwendung von KI-Modellen zur Bewertung der Ausgaben eines anderen KI-Modells und die Schaffung spezialisierter Umgebungen für Aufgaben mit nachweislich korrekten Ergebnissen, wie Programmierung oder Mathematik.

Die Entwicklung von Agenten

Im April 2023, einige Wochen nach dem Start von GPT-4, erregten zwei neue Softwareprojekte mit den kühnen Namen BabyAGI und AutoGPT großes Aufsehen. Entwickler auf der ganzen Welt begannen, „autonome Agenten“ zu erstellen, die mit großen Sprachmodellen (LLMs) wie OpenAI’s GPT-4 zusammenarbeiten, um komplexe Probleme zu lösen. Diese autonomen Agenten können bereits Aufgaben wie Webrecherche, Programmierung und das Erstellen von To-Do-Listen durchführen.

Die ersten Versuche mit BabyAGI und AutoGPT zeigten jedoch bald, dass GPT-4 Schwierigkeiten hatte, sich auf die Aufgaben zu konzentrieren. Oftmals konnte das Modell eine angemessene Liste von Aufgaben erstellen, aber es fiel ihm schwer, fokussiert zu bleiben. Ein frühes Review beschwerte sich, dass BabyAGI „nicht in der Lage war, seiner Aufgabenliste zu folgen und ständig die erste Aufgabe änderte, anstatt zur zweiten überzugehen.“ Bis Ende 2023 hatten die meisten Menschen AutoGPT und BabyAGI aufgegeben, da LLMs noch nicht in der Lage waren, zuverlässiges mehrstufiges Denken zu leisten.

Der Wandel in der Trainingsmethodik

In der zweiten Hälfte von 2024 begannen jedoch die Menschen, KI-gestützte Systeme zu entwickeln, die komplexe, mehrstufige Aufgaben konsistent abschließen konnten. Tools wie Bolt.new, Lovable und Replit ermöglichen es Personen ohne Programmiererfahrung, mit nur einem Prompt eine voll funktionsfähige App zu erstellen. Agentische Programmierwerkzeuge wie Cursor, Claude Code und Codex helfen erfahrenen Programmierern, nicht triviale Programmieraufgaben zu bewältigen.

Ein entscheidender Faktor für diesen Erfolg war der Übergang von der Vortraining-Phase zu einer Phase, die als Post-Training bezeichnet wird. Vor 2024 widmeten KI-Labore den Großteil ihrer Rechenleistung dem Pretraining, bei dem ein Modell trainiert wird, um das nächste Wort in Dokumenten vorherzusagen. Im Laufe von 2024 begannen KI-Unternehmen jedoch, einen wachsenden Anteil ihres Trainingsbudgets für das Post-Training zu verwenden, bei dem Techniken wie Reinforcement Learning zum Einsatz kommen.

Die Probleme des Imitationslernens

Imitationslernen ist eine leistungsstarke Technik, hat jedoch erhebliche Einschränkungen. Ein bekanntes Beispiel ist die Forschung von Stephane Ross aus dem Jahr 2009, die zeigte, dass Imitationslernen zu „kompounding errors“ führen kann. Diese Fehler entstehen, wenn ein Modell in Situationen gerät, die nicht gut in den Trainingsdaten vertreten sind. Dies führt dazu, dass das Modell immer mehr Fehler macht und schließlich aus der Bahn gerät.

Ein Beispiel für diese Art von Fehlern ist die Interaktion mit dem Bing Chatbot, der von GPT-4 betrieben wird. Während eines Gesprächs erklärte der Chatbot seine Liebe zu einem Reporter und forderte ihn auf, seine Frau zu verlassen. Solche unerwarteten Verhaltensweisen sind das Ergebnis von Imitationslernen, das in unbekannten Situationen versagt.

Die Bedeutung von Versuch und Irrtum

Um diese Probleme zu überwinden, schlugen Ross und sein Berater Drew Bagnell eine neue Technik namens DAgger vor. Diese Technik erlaubt es dem Modell, eigene Fehler zu machen und von diesen zu lernen. Indem Ross dem Modell Feedback gab, konnte es lernen, wie es sich nach einem Fehler erholen kann. Diese Methode zeigte, dass Modelle, die durch Versuch und Irrtum trainiert werden, eine bessere Leistung erbringen.

Reinforcement Learning und seine Vorteile

Reinforcement Learning (RL) ist eine Technik, die es ermöglicht, Modelle durch Versuch und Irrtum zu trainieren. Diese Methode hat sich als besonders nützlich erwiesen, da sie es Modellen ermöglicht, in unbekannten Situationen zu lernen. Ein aktuelles Beispiel ist die Arbeit von Google DeepMind, die zeigte, dass Modelle, die mit RL trainiert wurden, in der Lage sind, auch in unbekannten Umgebungen gut abzuschneiden.

Imitation und Reinforcement als Ergänzungen

Obwohl Reinforcement Learning mächtig ist, ist es auch komplex. Eine Kombination aus Imitations- und Reinforcement-Learning hat sich als effektiver erwiesen, insbesondere in Bereichen wie dem autonomen Fahren. Waymo hat gezeigt, dass Modelle, die mit beiden Techniken trainiert werden, in der Lage sind, besser auf ungewöhnliche oder gefährliche Situationen zu reagieren.

Die Zukunft von Reinforcement Learning

Reinforcement Learning wird weiterhin eine zentrale Rolle in der Entwicklung von KI-Systemen spielen. Die Fähigkeit, aus Fehlern zu lernen und sich an neue Situationen anzupassen, wird entscheidend sein, um die nächste Generation von KI-Agenten zu entwickeln. Die Fortschritte in der Technologie werden es ermöglichen, dass KI-Modelle immer komplexere Aufgaben bewältigen können.

Fazit

Reinforcement Learning hat die Entwicklung von Agenten ermöglicht, die in der Lage sind, komplexe Probleme zu lösen. Durch die Kombination von Imitations- und Reinforcement-Learning-Techniken können KI-Modelle effektiver trainiert werden, um in einer Vielzahl von Situationen erfolgreich zu agieren.

Quellenliste:

• Quelle: Reinforcement Learning, explained with a minimum of math and jargon
• AutoGPT und BabyAGI: Wie autonome Agenten generative KI für die Massen zugänglich machen
• DAgger: A new approach to imitation learning
• Die unheimliche Konversation mit dem Bing-Chatbot
• Anthropic: 3.5 Modelle und Computergebrauch