Was messen beliebte KI-Coding-Benchmarks wirklich?

In der Welt der Künstlichen Intelligenz (KI) und des maschinellen Lernens sind Coding-Benchmarks ein entscheidendes Werkzeug, um die Fähigkeiten von KI-Agenten zu bewerten. Diese Benchmarks messen jedoch oft nicht das, was ihre Namen vermuten lassen. In diesem Artikel werfen wir einen genaueren Blick auf einige der bekanntesten Benchmarks, darunter SWE-bench, SWE-bench Pro, Aider Polyglot und LiveCodeBench, und analysieren, was sie tatsächlich messen und welche Herausforderungen beim Benchmarking auftreten.

SWE-bench und SWE-bench Pro

SWE-bench ist ein Benchmark, der darauf abzielt, die Fähigkeit von KI-Agenten zu messen, Code für reale GitHub-Probleme zu generieren. Die Agenten müssen Lösungen einreichen, die die Unit-Tests für diese Probleme bestehen. SWE-bench Verified, die am häufigsten verwendete Variante, umfasst 500 Probleme, die alle in Python verfasst sind. Über 40% dieser Probleme stammen aus dem Django-Quellcode, während der Rest aus verschiedenen Bibliotheken besteht. Die Lösungen sind in der Regel klein, mit einer durchschnittlichen Anzahl von 11 Zeilen Code pro Lösung.

Eine neuere Version, SWE-bench Pro, wurde von Scale AI veröffentlicht und versucht, einige der Mängel von SWE-bench Verified zu beheben. Sie umfasst 1865 Probleme aus 41 Repositories, die eine Mischung aus öffentlichen und privaten Repositories darstellen. Diese Version bietet eine größere Vielfalt an Problemen und stellt sicher, dass die Agenten in einer dockerisierten Umgebung arbeiten, in der alle Abhängigkeiten installiert sind.

Aider Polyglot

Aider Polyglot ist ein weiterer Benchmark, der darauf abzielt, die Fähigkeiten von KI-Agenten zu messen, indem er ihnen Aufgaben aus der Programmierplattform Exercism stellt. Diese Aufgaben sind weniger algorithmisch und konzentrieren sich auf das Lösen von Problemen in verschiedenen Programmiersprachen. Aider Polyglot bewertet, wie gut ein KI-Agent in der Lage ist, komplexe Programmierprobleme zu lösen und dabei Unit-Tests zu bestehen.

LiveCodeBench

LiveCodeBench hingegen testet die Fähigkeiten von KI-Agenten im Bereich des Wettbewerbsprogrammierens. Die Agenten müssen Lösungen für Wettbewerbsprobleme generieren, die in Python formuliert sind. Die Bewertung erfolgt durch das Bestehen von versteckten Testfällen, ähnlich wie bei LeetCode.

Die Herausforderungen beim Benchmarking

Eine der größten Herausforderungen beim Benchmarking von KI-Coding-Agenten ist die Notwendigkeit menschlicher Überprüfung. Ohne diese Überprüfung ist es nahezu unmöglich, qualitativ hochwertige Aufgaben zu erstellen, die nicht unsinnig oder unmöglich sind. Zudem ist die Automatisierung der Bewertung oft auf das Bestehen von Unit-Tests beschränkt, was nicht alle Aspekte der Softwarequalität erfasst.

Die Benchmarks messen oft nur, wie gut ein KI-Agent bei klar definierten Aufgaben abschneidet. Dies bedeutet, dass viele wichtige Aspekte der Softwareentwicklung, wie die Wartbarkeit, Sicherheit und die Fähigkeit, mit unklaren Anforderungen umzugehen, nicht erfasst werden. Daher ist es wichtig, die Ergebnisse dieser Benchmarks mit Vorsicht zu interpretieren.

Fazit

Insgesamt bieten die aktuellen Benchmarks wie SWE-bench, SWE-bench Pro, Aider Polyglot und LiveCodeBench wertvolle Einblicke in die Fähigkeiten von KI-Coding-Agenten. Sie messen jedoch nur einen Teil der Fähigkeiten, die für die Softwareentwicklung erforderlich sind. Die Herausforderungen beim Benchmarking zeigen, dass es noch viel Raum für Verbesserungen gibt, um die tatsächlichen Fähigkeiten von KI-Agenten besser zu erfassen.

Quellenliste:

• Quelle: What Are Popular AI Coding Benchmarks Actually Measuring?
• SWE-bench Pro von Scale AI
• SWE-bench Dataset
• LiveCodeBench Projektseite
• Aider Polyglot Blogbeitrag