Die Effizienz der Werkzeugnutzung durch Foundation Models

In der heutigen Welt der Künstlichen Intelligenz (KI) ist die Fähigkeit, Werkzeuge effektiv zu nutzen, entscheidend für den Erfolg von Modellen. Besonders das Model Context Protocol (MCP), das von Anthropic entwickelt wurde, hat sich als wichtiger Standard für die Integration von Werkzeugen in Large Language Models (LLMs) etabliert. In diesem Artikel werden wir die Effizienz der Werkzeugnutzung durch verschiedene Foundation Models untersuchen und die Herausforderungen sowie Erfolge analysieren.

Einführung in das Model Context Protocol (MCP)

Das MCP wurde entwickelt, um die Art und Weise zu standardisieren, wie LLMs externe Werkzeuge nutzen. Durch die Implementierung von MCP können KI-Agenten mehrstufige Arbeitsabläufe durchführen, indem sie zwischen verschiedenen Werkzeugen auf mehreren MCP-Servern koordinieren. Seit seiner Einführung hat sich MCP schnell zum De-facto-Standard für die Integration von Werkzeugen in LLMs entwickelt. Es gibt mittlerweile Tausende von offiziellen und inoffiziellen MCP-Servern, die jeweils Dutzende von Werkzeugen anbieten.

Die Herausforderungen der Werkzeugnutzung

Obwohl die Vielzahl an verfügbaren Werkzeugen eine Bereicherung für das Ökosystem darstellt, kann sie auch zu Verwirrung führen. Produkte wie Cursor beschränken oft die Anzahl der Werkzeuge, die einem LLM zur Verfügung stehen, was bedeutet, dass Entwickler sorgfältig auswählen müssen, welche Werkzeuge sie nutzen möchten. Diese Auswahl kann die Leistung der Modelle erheblich beeinflussen.

Ein zentrales Problem, das in den Experimenten von Osmosis festgestellt wurde, ist die Unfähigkeit vieler Modelle, Werkzeuge effektiv zu nutzen. In einer Reihe von Tests, die sowohl Fragen beinhalteten, die ohne Werkzeuge beantwortet werden konnten, als auch solche, die die Nutzung von Werkzeugen erforderten, zeigte sich, dass viele Modelle nicht in der Lage waren, die notwendigen Werkzeuge korrekt zu verwenden. Dies führte zu einem Anstieg von ‘unforced errors’, wie fehlgeschlagenen Werkzeugaufrufen oder der Entscheidung, Werkzeuge nicht zu nutzen, selbst wenn dies erforderlich gewesen wäre.

Ergebnisse der Experimente

In den durchgeführten Experimenten wurden verschiedene Modelle, darunter OpenAI o3, OpenAI GPT-5, Claude Sonnet 4 und Gemini Pro 2.5, gegen einige der neuesten Open-Source-Modelle wie Kimi K2 und gpt-oss-120b getestet. Die Ergebnisse zeigten, dass GPT-5 die beste Leistung erbrachte, jedoch signifikante Leistungseinbußen auftraten, als die Konfiguration von der Nutzung aller Werkzeuge auf die Nutzung nur relevanter Werkzeuge umgestellt wurde.

Die Erfolgsquoten variieren stark je nach Kategorie. Beispielsweise lag die Erfolgsquote für das Browsing bei GPT-5 bei 52%, während andere Modelle wie Claude 4 Sonnet nur 30% erreichten. Diese Unterschiede verdeutlichen die Notwendigkeit, die Werkzeugnutzung zu optimieren, um die Leistung der Modelle zu verbessern.

Die Rolle von Osmosis

Osmosis hat sich darauf spezialisiert, Unternehmen dabei zu helfen, Open-Source-Modelle zu trainieren, die die state-of-the-art Foundation Models in Bezug auf Latenz und Kosten übertreffen. Durch den Fokus auf spezifische Anwendungsfälle und Werkzeuge ist es möglich, eine signifikant bessere Zuverlässigkeit zu erreichen als bei Standardmodellen. Das Unternehmen unterstützt bereits das Training von Multi-Turn-Tools, was es KI-Agenten ermöglicht, die Werkzeuge zu erlernen, die sie in realen Produktionsumgebungen benötigen.

Fazit

Die effektive Nutzung von Werkzeugen ist entscheidend für die Skalierung von KI-Agenten und die Verbesserung ihrer Leistung. Trotz der Fortschritte, die durch das MCP und die Entwicklung neuer Modelle erzielt wurden, gibt es weiterhin Herausforderungen, die angegangen werden müssen. Die Forschung und Entwicklung in diesem Bereich bleibt spannend, und es wird interessant sein zu beobachten, wie sich die Technologien weiterentwickeln.

Quellenliste:

• Quelle: EXPLORING FOUNDATION MODELS’ TOOL-USE EFFICACY
• Full Evaluation Framework
• Claude Desktop
• Cursor Documentation