Sakana AI’s TreeQuest: Multi-Model Teams, die individuelle LLMs um 30% übertreffen

Die Welt der Künstlichen Intelligenz (KI) entwickelt sich rasant weiter, und neue Technologien erscheinen nahezu täglich. Eine der neuesten Innovationen kommt von Sakana AI, einem japanischen KI-Labor, das eine Technik namens Multi-LLM AB-MCTS vorgestellt hat. Diese Methode ermöglicht es mehreren großen Sprachmodellen (LLMs), gemeinsam an einer Aufgabe zu arbeiten und somit eine Art “Traumteam” von KI-Agenten zu bilden. In diesem Artikel werden wir die Funktionsweise dieser Technik, ihre Vorteile für Unternehmen und die Ergebnisse von Tests mit dieser Methode näher betrachten.

Einführung in Sakana AI und TreeQuest

Sakana AI hat sich zum Ziel gesetzt, die Möglichkeiten von KI durch innovative Ansätze zu erweitern. Mit der Einführung von TreeQuest wird es Unternehmen ermöglicht, die Stärken verschiedener LLMs zu kombinieren, um komplexe Probleme effektiver zu lösen. Anstatt sich auf ein einzelnes Modell zu verlassen, können Unternehmen dynamisch die besten Aspekte verschiedener Modelle nutzen und so bessere Ergebnisse erzielen.

Die Funktionsweise der Multi-LLM AB-MCTS-Technik

Die Multi-LLM AB-MCTS-Technik basiert auf dem Konzept der kollektiven Intelligenz.

„Wir sehen diese Unterschiede nicht als Einschränkungen, sondern als wertvolle Ressourcen für die Schaffung kollektiver Intelligenz“,

erklären die Forscher von Sakana AI in ihrem Blog. Diese Technik ermöglicht es den Modellen, durch Trial-and-Error zu lernen und ihre einzigartigen Stärken zu kombinieren, um Probleme zu lösen, die für ein einzelnes Modell zu komplex sind.

Inference-Time Scaling

Ein zentraler Aspekt der neuen Technik ist das sogenannte Inference-Time Scaling. Während der Fokus in der KI-Forschung häufig auf der Vergrößerung von Modellen und der Verwendung größerer Datensätze liegt, verbessert das Inference-Time Scaling die Leistung, indem es mehr Rechenressourcen nach dem Training bereitstellt. Dies geschieht durch Methoden wie Reinforcement Learning, um Modelle zu ermutigen, längere und detailliertere Gedankengänge zu generieren.

Adaptive Branching Monte Carlo Tree Search (AB-MCTS)

Das Herzstück der neuen Methode ist ein Algorithmus namens Adaptive Branching Monte Carlo Tree Search (AB-MCTS). Dieser Algorithmus ermöglicht es einem LLM, durch intelligentes Balancieren von zwei verschiedenen Suchstrategien zu lernen: “tiefer suchen” und “breiter suchen”. Während das tiefere Suchen darauf abzielt, eine vielversprechende Antwort zu verfeinern, bedeutet das breitere Suchen, völlig neue Lösungen zu generieren.

Vorteile der kollektiven Intelligenz in KI-Systemen

Die kollektive Intelligenz, die durch die Kombination mehrerer LLMs entsteht, bietet zahlreiche Vorteile. Unternehmen können die Stärken verschiedener Modelle nutzen, um ihre spezifischen Anforderungen zu erfüllen. Dies führt zu robusteren und leistungsfähigeren KI-Systemen, die in der Lage sind, komplexe Aufgaben effizient zu bewältigen.

Testergebnisse und reale Anwendungen

Die Forscher testeten ihr Multi-LLM AB-MCTS-System anhand des ARC-AGI-2-Benchmarks, der entwickelt wurde, um die menschliche Fähigkeit zur Lösung neuartiger visueller Problemlösungen zu testen. Die Ergebnisse waren beeindruckend: Die Kombination der Modelle konnte über 30% der 120 Testprobleme korrekt lösen, was eine signifikante Verbesserung im Vergleich zu den einzelnen Modellen darstellt.

Praktische Anwendungen

Die Technik hat das Potenzial, in verschiedenen Bereichen eingesetzt zu werden, darunter komplexe algorithmische Codierung und die Verbesserung der Genauigkeit von maschinellen Lernmodellen. Sakana AI hat das zugrunde liegende Algorithmus-Framework als Open-Source-Tool unter dem Namen TreeQuest veröffentlicht, das Entwicklern und Unternehmen helfen soll, diese Technik in ihren eigenen Projekten anzuwenden.

Fazit und Ausblick auf zukünftige Entwicklungen

Die Einführung von Sakana AI’s TreeQuest und der Multi-LLM AB-MCTS-Technik markiert einen bedeutenden Fortschritt in der KI-Forschung. Diese Methoden könnten die Art und Weise, wie Unternehmen KI einsetzen, revolutionieren und neue Möglichkeiten für die Lösung komplexer Probleme eröffnen. Mit der Veröffentlichung von TreeQuest als Open-Source-Tool könnte eine neue Klasse leistungsfähiger und zuverlässiger KI-Anwendungen für Unternehmen entstehen.

Quellenliste:

• Quelle: Sakana AI’s TreeQuest: Deploy multi-model teams that outperform individual LLMs by 30%
• Multi-LLM AB-MCTS
• Test-Time Scaling in AI
• DeepSeek-R1
• TreeQuest Open Source Framework