Die Grenzen von DSPy und GEPA in der LLM-Optimierung

In der Welt der Künstlichen Intelligenz (KI) sind modulare Ansätze zur Optimierung von LLM-Workflows (Large Language Models) ein heiß diskutiertes Thema. Benjamin Anderson, ein erfahrener Entwickler und Blogger, hat kürzlich seine kritischen Gedanken zu den Werkzeugen DSPy und GEPA geteilt. In diesem Artikel beleuchten wir seine Argumente und die Herausforderungen, die mit der Modularität dieser Werkzeuge verbunden sind.

Anderson beginnt mit einer ehrlichen Offenbarung: “Ich habe etwas Schändliches zu gestehen – ich habe Hass in meinem Herzen gegen DSPy und GEPA.” Trotz der Wertschätzung für die Intelligenz und Freundlichkeit der Entwickler dieser Tools, sieht er in der Modularität und der Herangehensweise an LLM-Workflows ein grundlegendes Problem. Er argumentiert, dass die Behandlung von LLM-Workflows als modulare Programme oft ein Fehler ist, da sie nicht für die interessantesten Aufgaben geeignet sind.

Was ist DSPy?

DSPy, entwickelt von Omar Khattab, ist ein Toolkit, das darauf abzielt, KI-Programme zuverlässiger zu machen, indem es sie in Module zerlegt und die Funktion dieser Module von ihrer spezifischen Implementierung entkoppelt. Die Idee ist, dass man die gewünschten Ergebnisse definiert und DSPy die Optimierung übernimmt. Ein Beispiel für die Nutzung von DSPy könnte so aussehen:

def search_wikipedia(query: str) -> list[str]:
    results = dspy.ColBERTv2(url="http://20.102.90.50:2017/wiki17_abstracts")(query, k=3)
    return [x["text"] for x in results]

Hier wird ein einfaches Programm erstellt, das Wikipedia durchsucht und die Ergebnisse zurückgibt. DSPy optimiert dann die verschiedenen Module, um die Leistung zu verbessern. Dies klingt vielversprechend, doch Anderson sieht in der Modularität auch erhebliche Einschränkungen.

Was ist GEPA?

GEPA, kurz für “Genetic Pareto”, ist ein Optimierungsalgorithmus, der die Leistung von LLM-Programmen verbessern soll. Er basiert auf genetischen Prinzipien und verwendet eine evolutionäre Strategie, um die besten Prompts zu identifizieren und zu optimieren. GEPA speichert eine “Pareto-Front”, um sicherzustellen, dass die Vielfalt der Kandidaten erhalten bleibt und nicht nur die besten Ergebnisse ausgewählt werden.

Die Grundidee von GEPA ist es, die Leistung von Modulen durch gezielte Mutationen oder Kreuzungen zu verbessern. Dies geschieht durch die Analyse von Trajektorien in einem Trainingsdatensatz und die Verwendung von LLMs zur Verbesserung der Prompts.

Die Herausforderungen der Modularität

Anderson beschreibt seine eigenen Erfahrungen mit der Implementierung von GEPA in einem Agenten, der für die mehrstufige Suche konzipiert ist. Er stellte fest, dass die Modularität der DSPy- und GEPA-Ansätze nicht gut zu den Anforderungen komplexer, agentischer Aufgaben passt. Während DSPy und GEPA nützlich sein können, sind sie nicht für alle Arten von Aufgaben geeignet.

Ein zentrales Argument von Anderson ist, dass agentische Aufgaben nicht in einfache, modulare Schritte zerlegt werden können. Stattdessen müssen alle Schritte miteinander verbunden sein, was die Modularität der beiden Werkzeuge in Frage stellt. Er stellt fest, dass die Prompts in einem agentischen Task nicht isoliert betrachtet werden können, da sie alle miteinander interagieren.

Fazit: Die Zukunft von DSPy und GEPA

Anderson schließt mit der Überlegung, dass DSPy und GEPA zwar nützliche Werkzeuge sind, sie jedoch nicht die Zukunft der KI repräsentieren. Viele Aufgaben erfordern eine dynamische, agentische Herangehensweise, die über die Modularität hinausgeht. Dennoch erkennt er an, dass die Prinzipien von GEPA, wie die Pareto-Front und die reflektierende Optimierung, auch in anderen Kontexten von Nutzen sein können.

Insgesamt zeigt Andersons Kritik, dass es wichtig ist, die richtigen Werkzeuge für die jeweilige Aufgabe auszuwählen und die Grenzen der Modularität in der KI-Entwicklung zu erkennen.

Quellenliste:

• Quelle: Benjamin Anderson Blog
• Genetic Pareto: A New Approach to LLM Optimization
• DSPy Official Documentation