Agentenentwicklung bleibt herausfordernd

Die Entwicklung von Agenten ist nach wie vor ein komplexes und herausforderndes Unterfangen. In diesem Artikel werden die Erfahrungen und Erkenntnisse von Armin Ronacher zusammengefasst, die er beim Bau von Agenten und der Nutzung agentischer Codierungswerkzeuge gesammelt hat. Der Fokus liegt auf den Schwierigkeiten, die beim Einsatz verschiedener Software Development Kits (SDKs) auftreten, sowie auf aktuellen Trends und Entwicklungen in der Agentenentwicklung.

Herausforderungen beim Agentenbau

Beim Bau von Agenten gibt es zahlreiche Herausforderungen, die oft unerwartet auftreten. Eine der größten Schwierigkeiten besteht darin, dass SDK-Abstraktionen oft brechen, wenn man auf reale Werkzeuge stößt. Dies führt zu einer Vielzahl von Problemen, die es zu bewältigen gilt. Ronacher hebt hervor, dass das Caching besser funktioniert, wenn man es selbst verwaltet, da die Anforderungen je nach Modell variieren können. Zudem erweist sich das Reinforcement Learning als wichtiger als zunächst angenommen, und Fehler müssen strikt isoliert werden, um den Ablauf nicht zu stören.

Wahl des richtigen SDKs

Bei der Entwicklung eines eigenen Agenten hat man die Wahl, ein zugrunde liegendes SDK wie das OpenAI SDK oder das Anthropic SDK anzusprechen oder eine höhere Abstraktion wie das Vercel AI SDK oder Pydantic zu verwenden. Ronacher berichtet, dass sein Team ursprünglich das Vercel AI SDK gewählt hat, jedoch festgestellt hat, dass die Unterschiede zwischen den Modellen signifikant genug sind, um eine eigene Agentenabstraktion zu entwickeln. Dies liegt daran, dass die grundlegende Agentenarchitektur zwar eine Schleife ist, jedoch subtile Unterschiede aufweist, die die Wahl der richtigen Abstraktion beeinflussen.

Caching-Strategien

Ein weiterer wichtiger Aspekt ist das Caching. Verschiedene Plattformen haben unterschiedliche Ansätze, was das Caching betrifft. Ronacher stellt fest, dass Anthropic eine explizite Verwaltung von Cache-Punkten erfordert, was die Interaktion auf einer agententechnischen Ebene erheblich verändert. Obwohl die manuelle Verwaltung anfangs als umständlich empfunden wurde, hat er festgestellt, dass sie letztendlich eine bessere Kontrolle und Vorhersehbarkeit der Kosten und der Cache-Nutzung ermöglicht.

Reinforcement Learning im Agentenloop

Das Reinforcement Learning spielt eine entscheidende Rolle im Agentenloop. Jedes Mal, wenn der Agent ein Werkzeug ausführt, hat man die Möglichkeit, nicht nur die Rückgabe des Werkzeugs zu verwenden, sondern auch zusätzliche Informationen in den Loop einzuspeisen. Dies kann dazu beitragen, den Agenten an das übergeordnete Ziel zu erinnern und den Status einzelner Aufgaben zu aktualisieren. Ronacher hebt hervor, dass es wichtig ist, den Agenten über Änderungen im Hintergrund zu informieren, insbesondere wenn der Agent parallel arbeitet.

Fehlerisolierung

Ein effektiver Umgang mit Fehlern ist entscheidend für den Erfolg eines Agenten. Ronacher schlägt vor, Fehler zu isolieren, um zu verhindern, dass sie den gesamten Ablauf stören. Dies kann durch die Ausführung von Aufgaben in einem Subagenten geschehen, der nur bei Erfolg zurückmeldet. Eine weitere Möglichkeit besteht darin, Kontextbearbeitung zu verwenden, um bestimmte Fehler aus dem Kontext zu entfernen, was jedoch auch die Caches ungültig macht.

Modellwahl und Evaluierung

Die Wahl des richtigen Modells ist für die Leistung des Agenten von entscheidender Bedeutung. Ronacher hat festgestellt, dass die Modelle Haiku und Sonnet nach wie vor die besten Werkzeugaufrufer sind. Die Evaluierung von Agenten stellt jedoch eine der größten Herausforderungen dar, da die agentische Natur es schwierig macht, Tests in externen Systemen durchzuführen. Stattdessen müssen die Evaluierungen auf Beobachtungsdaten basieren.

Aktuelle Trends in der Agentenentwicklung

In der Welt der Agentenentwicklung gibt es ständig neue Trends und Entwicklungen. Ein bemerkenswerter Trend ist die zunehmende Verwendung von Minimalismus in der Agentenarchitektur, wie von Mario Zechner in seinem Artikel über die Überbewertung von MCP-Servern vorgeschlagen. Dies könnte dazu führen, dass Entwickler einfachere, flexiblere Agenten erstellen, die weniger Ressourcen benötigen und effizienter arbeiten.

Ein weiterer Trend ist die Integration von Open-Source-Lösungen, die es Entwicklern ermöglichen, maßgeschneiderte Werkzeuge zu erstellen, die ihren spezifischen Anforderungen entsprechen. Diese Entwicklung könnte die Agentenentwicklung revolutionieren und neue Möglichkeiten für die Interaktion mit KI schaffen.

Quellenliste:

• Quelle: AGENT DESIGN IS STILL HARD
• What if you don’t need MCP at all?
• The fate of “small” open source