Code Researcher: Deep Research Agent für große Systemcodes und Commit-Historie

Microsoft hat mit Code Researcher einen neuen Agenten entwickelt, der beeindruckende Ergebnisse bei der Behebung von Abstürzen im Linux-Kernel erzielt. Mit einer Erfolgsquote von 58 % übertrifft er den bisherigen SWE-Agent, der nur 37,5 % erreichte. Dies markiert einen bedeutenden Wandel von schnellen Fixes hin zu tiefgehenden Forschungssystemen, die in der Lage sind, große Codebasen mit Millionen von Zeilen zu verwalten.

Einführung in Code Researcher

Die Entwicklung von Code Researcher ist eine Antwort auf die Herausforderungen, die mit der Arbeit an Systemcode verbunden sind. Systemcode ist oft komplex und umfangreich, was es selbst für erfahrene Entwickler schwierig macht, Änderungen vorzunehmen. Um fundierte Entscheidungen zu treffen, ist es notwendig, den Kontext aus der umfangreichen Codebasis und der langen Commit-Historie zu verstehen.

Die Funktionsweise von Code Researcher

Der Code Researcher nutzt einen tiefen Forschungsansatz, um relevante Informationen zu sammeln. Er führt mehrstufiges Denken über Semantik, Muster und die Commit-Historie des Codes durch, um ausreichend Kontext zu gewinnen. Dieser Kontext wird in einem strukturierten Speicher abgelegt, der für die Synthese von Patches verwendet wird.

Leistungsbewertung

Die Leistungsfähigkeit von Code Researcher wurde anhand von kBenchSyz, einem Benchmark für Linux-Kernel-Abstürze, bewertet. Die Ergebnisse zeigen, dass der Agent signifikant bessere Ergebnisse erzielt als die bisherigen Baseline-Modelle. Im Durchschnitt untersucht Code Researcher 10 Dateien pro Trajektorie, während der SWE-Agent lediglich 1,33 Dateien analysiert. Dies verdeutlicht die Fähigkeit von Code Researcher, die Codebasis tiefgreifend zu erkunden.

Allgemeine Anwendbarkeit

Ein weiteres Experiment mit einer Open-Source-Multimedia-Software zeigt, dass die Ansätze von Code Researcher auch auf andere Projekte übertragbar sind. Die Ergebnisse unterstreichen die Bedeutung der globalen Kontextsammlung und des mehrdimensionalen Denkens für große Codebasen.

Fazit

Die Einführung von Code Researcher durch Microsoft stellt einen bedeutenden Fortschritt in der Softwareentwicklung dar. Mit seiner Fähigkeit, komplexe Probleme im Systemcode zu analysieren und zu lösen, könnte dieser Agent die Art und Weise revolutionieren, wie Entwickler mit großen Codebasen umgehen. Die Forschung in diesem Bereich wird sicherlich weiter voranschreiten, und es bleibt abzuwarten, welche weiteren Innovationen in der Zukunft folgen werden.

Quellenliste:

• Quelle: Code Researcher: Deep Research Agent for Large Systems Code and Commit History
• Ramakrishna Bairi
• Aditya Kanade
• Nagarajan Natarajan