Evaluation Driven Development für Agentic Systeme

In der heutigen digitalen Welt, in der Künstliche Intelligenz (KI) und insbesondere große Sprachmodelle (LLMs) eine immer größere Rolle spielen, ist die Entwicklung von Agentic Systemen zu einem zentralen Thema geworden. In diesem Artikel werden wir einen praktischen Rahmen für den Aufbau von LLM-basierten agentischen Systemen vorstellen, der sich auf eine bewertungsorientierte Entwicklung konzentriert.

Einführung in die agentische Systementwicklung

Die Entwicklung von agentischen Systemen erfordert ein tiefes Verständnis der Probleme, die gelöst werden sollen, sowie der Technologien, die zur Lösung dieser Probleme eingesetzt werden können. In den letzten zwei Jahren habe ich an verschiedenen Projekten gearbeitet und dabei immer wieder die gleichen Muster festgestellt. Der erste Versuch ist oft nicht der erfolgreichste, aber aus Misserfolgen lernt man und wendet die Erkenntnisse im nächsten Projekt an.

Der Entwicklungsprozess im Überblick

Der Entwicklungsprozess für LLM-basierte Anwendungen kann in mehrere Phasen unterteilt werden:

• Problemdefinition
• Prototyping
• Leistungsmetriken definieren
• Bewertungsregeln festlegen
• Proof of Concept (PoC) erstellen
• Anwendung instrumentieren
• Integration mit einer Observabilitätsplattform
• Bewertung der erfassten Daten
• Weiterentwicklung der Anwendung
• Überwachung und Alarmierung

1. Problemdefinition

Der erste Schritt bei der Entwicklung eines agentischen Systems besteht darin, das Problem klar zu definieren. Es ist wichtig, sicherzustellen, dass das Problem gut umrissen und mit den Geschäftszielen in Einklang steht. Einige Fragen, die Sie sich stellen sollten, sind:

• Ist das Problem am besten mit KI oder traditioneller Software zu lösen?
• Wer ist der Endbenutzer?
• Was sind die Randfälle?
• Was sind die Grenzen des akzeptablen Verhaltens?

2. Prototyping

Sobald das Problem definiert ist, sollten Sie mit dem Rapid Prototyping beginnen. Hierbei können verschiedene Personen beteiligt sein, je nach Größe der Organisation. In vielen Fällen ist es sinnvoll, dass AI Engineers direkt mit den Stakeholdern kommunizieren.

3. Leistungsmetriken definieren

Sie bauen nicht nur eine coole Anwendung, sondern lösen ein reales Geschäftsproblem. Daher müssen spezifische Metriken festgelegt werden, die Sie optimieren möchten. Diese Metriken sollten sowohl die Ausgangs- als auch die Eingangsmetriken umfassen.

4. Bewertungsregeln festlegen

Die Metriken für LLMs sind oft knifflig. Es ist wichtig, klare Regeln für die Bewertung Ihrer Anwendung zu definieren, insbesondere wenn es um menschliche Ausrichtung, Kohärenz und Faktizität geht.

5. Proof of Concept (PoC) erstellen

Der PoC ist eine entscheidende Phase, in der das System so schnell wie möglich den Benutzern zur Verfügung gestellt werden sollte. Dies kann auch in Form einer einfachen Excel-Tabelle geschehen, solange es hilft, die Metriken voranzubringen.

6. Anwendung instrumentieren

In dieser Phase implementieren Sie Best Practices der Observabilität in LLM-basierten Systemen. Dies umfasst das Protokollieren umfangreicher Metadaten über alles, was im Hintergrund geschieht.

7. Integration mit einer Observabilitätsplattform

Es reicht nicht aus, nur Daten zu verfolgen; Sie müssen sie auch effizient visualisieren und analysieren können. Eine Observabilitätsplattform hilft dabei, die gesammelten Daten zu analysieren und zu gruppieren.

8. Bewertung der erfassten Daten

Nachdem Sie die vorherigen Phasen erfolgreich implementiert haben, können Sie die gesammelten Daten bewerten. Hierbei sollten Sie sich auf die Daten konzentrieren, die negative Rückmeldungen oder fehlerhafte Bewertungen aufweisen.

9. Weiterentwicklung der Anwendung

Jetzt sind Sie bereit, Ihre Anwendung zu verbessern. Konzentrieren Sie sich auf die Bereiche, in denen Verbesserungen erforderlich sind, und ziehen Sie in Betracht, die Systemarchitektur zu komplexeren Lösungen weiterzuentwickeln.

10. Überwachung und Alarmierung

Nachdem Sie alle erforderlichen Maßnahmen zur Überwachung implementiert haben, können Sie spezifische Alarme konfigurieren, um sicherzustellen, dass Ihre Anwendung reibungslos funktioniert.

Fazit

Die Entwicklung von LLM-basierten agentischen Systemen unterscheidet sich grundlegend von der traditionellen Softwareentwicklung. Techniken wie die bewertungsorientierte Entwicklung sind entscheidend für den Erfolg. Es ist wichtig, dass Sie frühzeitig klare Geschäftsmetriken definieren und sicherstellen, dass Ihre Projekte langfristig einen Mehrwert bieten.

Quellenliste:

• Quelle: Evaluation Driven Development for Agentic Systems