Die Grenzen der Pass@k-Metrik in der KI-Bewertung

Die Bewertung der Leistung von KI-Agenten ist eine komplexe Herausforderung, die von verschiedenen Faktoren abhängt. Eine der am häufigsten verwendeten Metriken in diesem Bereich ist Pass@k, die die Wahrscheinlichkeit misst, dass mindestens einer von k verschiedenen Versuchen erfolgreich ist. Diese Metrik hat jedoch ihre Tücken und wird von vielen Experten als nicht ausreichend angesehen, um die tatsächliche Leistungsfähigkeit von KI-Agenten zu bewerten.

In diesem Artikel werden wir die Funktionsweise von Pass@k näher betrachten, ihre Vor- und Nachteile diskutieren und alternative Ansätze zur Bewertung von KI-Agenten vorstellen.

Was ist Pass@k?

Pass@k ist eine Metrik, die häufig in der KI-Forschung verwendet wird. Sie gibt an, wie wahrscheinlich es ist, dass mindestens einer von k Versuchen erfolgreich ist. Zum Beispiel hat ein sechsseitiger Würfel, bei dem das Ziel darin besteht, eine 6 zu würfeln, eine Pass@3 von 45% und eine Pass@10 von 83%. Dies bedeutet, dass bei zehn Würfen die Wahrscheinlichkeit, mindestens einmal eine 6 zu würfeln, bei 83% liegt. Auf den ersten Blick scheint dies eine beeindruckende Erfolgsquote zu sein.

Die Problematik von Pass@k

Die Hauptkritik an Pass@k ist, dass sie oft zu optimistischen Ergebnissen führt. Während eine Pass@10 von 83% vielversprechend aussieht, bedeutet dies, dass das Modell in 17% der Fälle nicht erfolgreich ist. In der Realität sind Benutzer jedoch nicht so nachsichtig. Wenn Menschen mit einem KI-Agenten interagieren und mehrere Versuche unternehmen, erwarten sie in der Regel, dass die meisten dieser Versuche erfolgreich sind. Ein einziges erfolgreiches Ergebnis bei zehn Versuchen wird oft als unzureichend angesehen.

Wie Marc Brooker in seinem Blogbeitrag feststellt:

„Menschen, die mit Agenten interagieren, sind im Allgemeinen nicht bereit zu sagen: ‘Nun, ich habe es zehnmal versucht und es hat einmal funktioniert, also bin ich zufrieden.’ Sie sagen: ‘Ich habe es zehnmal versucht und es hat nur einmal funktioniert, was für ein Schrott.’“

Wann ist Pass@k nützlich?

Es gibt jedoch Situationen, in denen Pass@k eine nützliche Metrik sein kann. In einfachen Aufgaben, bei denen die Evaluatoren zuverlässig sind und Menschen nicht in den Prozess involviert sind, kann die Idee, mit linear zusätzlichen Kosten exponentiell bessere Erfolgsquoten zu erzielen, durchaus sinnvoll sein. In solchen Fällen kann Pass@k als grober Indikator für die Leistung eines Modells dienen.

Alternative Metriken zur Bewertung von KI-Agenten

Um die tatsächliche Leistung von KI-Agenten besser zu bewerten, sollten alternative Metriken in Betracht gezogen werden. Dazu gehören:

• Erfolgsquote über alle Versuche: Anstatt nur die Wahrscheinlichkeit eines einzelnen Erfolgs zu betrachten, könnte man die Erfolgsquote über alle Versuche hinweg analysieren.
• Benutzerzufriedenheit: Die Erfassung von Benutzerfeedback und Zufriedenheit kann wertvolle Einblicke in die tatsächliche Leistung eines KI-Agenten bieten.
• Interaktionsschritte: Die Anzahl der Schritte, die erforderlich sind, um zu einem erfolgreichen Ergebnis zu gelangen, sollte ebenfalls berücksichtigt werden. Ein Agent, der viele Schritte benötigt, um ein Ergebnis zu erzielen, könnte als weniger effektiv angesehen werden.

Fazit

Die Pass@k-Metrik hat ihre Anwendung in der KI-Forschung, sollte jedoch mit Vorsicht verwendet werden. Sie kann in bestimmten Kontexten nützlich sein, ist jedoch nicht immer ein zuverlässiger Indikator für die tatsächliche Leistung von KI-Agenten. Um das Feld der agentischen KI voranzutreiben, ist es wichtig, ehrlich über die verwendeten Metriken zu sein und alternative Ansätze zu erkunden, die ein umfassenderes Bild der Agentenleistung bieten.

Quellenliste:

• Quelle: PASS@K IS MOSTLY BUNK
• Marc Brooker’s Publications