Inference-Time Scaling und kollektive Intelligenz für Frontier AI

In der Welt der Künstlichen Intelligenz (KI) sind Fortschritte oft das Ergebnis innovativer Ansätze und der Zusammenarbeit mehrerer Modelle. Sakana AI hat kürzlich eine neue Methode namens AB-MCTS (Adaptive Branching Monte Carlo Tree Search) vorgestellt, die Inference-Time Scaling mit kollektiver Intelligenz kombiniert. Diese Technik nutzt mehrere fortschrittliche KI-Modelle, um die Leistung bei der Lösung komplexer Probleme erheblich zu steigern. In diesem Artikel werden wir die Grundlagen dieser Methode, ihre Funktionsweise und die vielversprechenden ersten Ergebnisse näher betrachten.

Die neue Inference-Time Scaling-Methode kombiniert o4-mini, Gemini-2.5-Pro und DeepSeek-R1, um eine Verbesserung von 30 % im Vergleich zu bestehenden Modellen auf dem ARC-AGI-2 Benchmark zu erzielen. Dies ist ein bedeutender Fortschritt in der Entwicklung von KI-Systemen, die auf den Prinzipien der Evolution und kollektiven Intelligenz basieren.

Einführung in die kollektive Intelligenz

Das Konzept der kollektiven Intelligenz ist nicht neu. Es basiert auf der Idee, dass Gruppen von Individuen zusammenarbeiten können, um Probleme zu lösen, die für Einzelpersonen unlösbar sind. Historische Beispiele wie das Apollo-Programm oder die Entwicklung des Internets zeigen, dass durch die Kombination von Wissen und Fähigkeiten außergewöhnliche Ergebnisse erzielt werden können. Sakana AI überträgt dieses Prinzip auf die KI, indem es mehrere Modelle zusammenbringt, um ihre individuellen Stärken zu nutzen.

Was ist Inference-Time Scaling?

Inference-Time Scaling bezieht sich auf die Verbesserung der Leistung eines KI-Modells während der Inferenzphase, also der Phase, in der das Modell Vorhersagen trifft. Traditionell wurde der Fokus auf die Trainingsphase gelegt, in der Modelle optimiert werden. Die neue Erkenntnis ist, dass auch die Zuweisung zusätzlicher Rechenressourcen während der Inferenz zu einer signifikanten Leistungssteigerung führen kann. Dies geschieht durch Methoden wie Reinforcement Learning, die es KI-Modellen ermöglichen, längere und komplexere Denkprozesse zu durchlaufen.

Die AB-MCTS-Methode

Die AB-MCTS-Methode ist ein innovativer Ansatz, der es KI-Modellen ermöglicht, durch Trial-and-Error zu lernen. Sie kombiniert zwei Dimensionen der Suche: die Tiefe und die Breite. Bei der Tiefensuche wird ein bereits gefundenes Ergebnis verfeinert, während bei der Breitensuche neue Lösungen generiert werden. Diese Flexibilität ermöglicht es der AB-MCTS-Methode, sowohl bestehende Lösungen zu verbessern als auch neue Ansätze zu entwickeln.

Experimentelle Ergebnisse

Die ersten Ergebnisse der AB-MCTS-Methode auf dem ARC-AGI-2 Benchmark sind vielversprechend. In Experimenten konnte die Methode eine Pass@k-Rate von über 30 % erreichen, was bedeutet, dass in mehr als einem Drittel der Fälle eine korrekte Lösung gefunden wurde. Dies ist ein erheblicher Fortschritt im Vergleich zu traditionellen Ansätzen, die oft nur eine geringe Erfolgsquote aufweisen.

Die Rolle der Zusammenarbeit zwischen KI-Modellen

Ein entscheidender Aspekt der AB-MCTS-Methode ist die Möglichkeit, verschiedene KI-Modelle zusammenarbeiten zu lassen. Jedes Modell bringt seine eigenen Stärken und Schwächen mit, und durch die Kombination dieser Modelle können komplexe Probleme effektiver gelöst werden. Beispielsweise kann ein Modell besser im Programmieren sein, während ein anderes in kreativen Aufgaben überlegen ist. Die Multi-LLM AB-MCTS-Methode ermöglicht es, diese Stärken gezielt zu nutzen und die Effizienz der Problemlösung zu steigern.

Fazit

Die Einführung der AB-MCTS-Methode durch Sakana AI stellt einen bedeutenden Fortschritt in der Entwicklung von KI-Systemen dar. Durch die Kombination von Inference-Time Scaling und kollektiver Intelligenz können KI-Modelle effektiver zusammenarbeiten und komplexe Probleme lösen. Die ersten Ergebnisse zeigen, dass diese Methode das Potenzial hat, die Leistungsfähigkeit von KI erheblich zu steigern und neue Möglichkeiten für die Anwendung von KI in verschiedenen Bereichen zu eröffnen.

Quellenliste:

• Quelle: Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search
• ARC-AGI-2 Benchmark
• TreeQuest: A tree-search software framework for inference-time scaling