Asymmetrie der Verifikation und das Gesetz des Verifiers

Asymmetrie der Verifikation ist die Idee, dass einige Aufgaben viel einfacher zu verifizieren sind als zu lösen. Diese Asymmetrie ist in vielen Bereichen der künstlichen Intelligenz (KI) und des maschinellen Lernens von großer Bedeutung. Der Autor Jason Wei erklärt, dass das Verständnis dieser Asymmetrie durch verschiedene Beispiele verdeutlicht werden kann.

Verstehen der Asymmetrie der Verifikation durch Beispiele

Die Asymmetrie der Verifikation ist überall zu finden, wenn man danach sucht. Hier sind einige prägnante Beispiele:

• Sudoku und Kreuzworträtsel: Diese Rätsel benötigen viel Zeit zum Lösen, da man viele Kandidaten gegen verschiedene Einschränkungen ausprobieren muss. Im Gegensatz dazu ist es trivial zu überprüfen, ob eine gegebene Lösung korrekt ist.
• Webseitenentwicklung: Das Programmieren einer Webseite wie Instagram erfordert ein Team von Ingenieuren und viel Zeit. Die Überprüfung, ob die Webseite ordnungsgemäß funktioniert, kann jedoch schnell von jedem Laien durchgeführt werden.
• BrowseComp-Probleme: Das Lösen dieser Probleme erfordert oft das Durchsuchen Hunderter von Webseiten, während die Überprüfung einer gegebenen Antwort oft viel schneller erfolgen kann, da man direkt nachsehen kann, ob die Antwort den Anforderungen entspricht.

Symmetrische und asymmetrische Verifikation

Einige Aufgaben weisen eine nahezu symmetrische Verifikation auf, bei der die Überprüfung genauso viel Zeit in Anspruch nimmt wie das Lösen. Ein Beispiel hierfür sind mathematische Probleme wie das Addieren zweier 900-stelliger Zahlen. In anderen Fällen kann die Überprüfung sogar länger dauern als das Lösen. So kann es beispielsweise länger dauern, alle Aussagen in einem Aufsatz zu überprüfen, als den Aufsatz selbst zu schreiben. Dies wird durch Brandolinis Gesetz verdeutlicht: „Die Menge an Energie, die benötigt wird, um Unsinn zu widerlegen, ist um ein Vielfaches größer als die, die benötigt wird, um ihn zu produzieren.“

Verbesserung der Asymmetrie der Verifikation

Eine der wichtigsten Erkenntnisse über die Asymmetrie der Verifikation ist, dass es möglich ist, diese Asymmetrie zu verbessern, indem man einige Recherchen über die Aufgabe vorab durchführt. Zum Beispiel ist es trivial, eine vorgeschlagene endgültige Antwort auf ein Wettbewerbs-Mathematikproblem zu überprüfen, wenn man den Lösungsschlüssel zur Hand hat. Ein weiteres Beispiel sind einige Programmierprobleme: Während es mühsam ist, den Code zu lesen und seine Richtigkeit zu überprüfen, kann man, wenn man Testfälle mit umfassender Abdeckung hat, jede gegebene Lösung schnell überprüfen. Dies ist genau das, was Leetcode tut.

Das Gesetz des Verifiers

Warum ist die Asymmetrie der Verifikation wichtig? Wenn man die Geschichte des Deep Learning betrachtet, sieht man, dass nahezu alles, was gemessen werden kann, optimiert werden kann. Im Kontext des Reinforcement Learning (RL) entspricht die Fähigkeit, Lösungen zu verifizieren, der Fähigkeit, eine RL-Umgebung zu schaffen. Daher lautet das Gesetz des Verifiers:

„Die Leichtigkeit, mit der KI eine Aufgabe lösen kann, ist proportional zu der Verifizierbarkeit der Aufgabe.“

Alle Aufgaben, die lösbar und leicht verifizierbar sind, werden von KI gelöst. Insbesondere ist die Fähigkeit, KI zu trainieren, um eine Aufgabe zu lösen, proportional zu den folgenden Eigenschaften der Aufgabe:

1. Objektive Wahrheit: Jeder ist sich einig, was gute Lösungen sind.
2. Schnell zu verifizieren: Jede gegebene Lösung kann in wenigen Sekunden überprüft werden.
3. Skalierbar zu verifizieren: Viele Lösungen können gleichzeitig überprüft werden.
4. Niedriges Rauschen: Die Verifikation ist so eng wie möglich mit der Lösungsqualität korreliert.
5. Kontinuierliche Belohnung: Es ist einfach, die Güte vieler Lösungen für ein einzelnes Problem zu bewerten.

Es ist nicht schwer zu glauben, dass das Gesetz des Verifiers zutrifft: Die meisten Benchmarks, die in der KI vorgeschlagen wurden, sind leicht zu verifizieren und wurden bisher gelöst. Es ist bemerkenswert, dass nahezu alle beliebten Benchmarks der letzten zehn Jahre die Kriterien 1-4 erfüllen; Benchmarks, die diese Kriterien nicht erfüllen, haben es schwer, populär zu werden. Obwohl die meisten Benchmarks nicht die Kriterien 5 erfüllen (eine Lösung ist entweder strikt korrekt oder nicht), kann man eine kontinuierliche Belohnung berechnen, indem man die binäre Belohnung vieler Beispiele mittelt.

Warum ist Verifizierbarkeit so wichtig?

Meiner Meinung nach liegt der grundlegendste Grund darin, dass die Menge an Lernen, die in neuronalen Netzwerken stattfindet, maximiert wird, wenn die oben genannten Kriterien erfüllt sind. Man kann viele Gradienten-Schritte unternehmen, bei denen jeder Schritt ein starkes Signal hat. Die Geschwindigkeit der Iteration ist entscheidend – sie ist der Grund, warum der Fortschritt in der digitalen Welt viel schneller war als der Fortschritt in der physischen Welt.

AlphaEvolve und die Anwendung der Asymmetrie der Verifikation

Ein herausragendes Beispiel für die Nutzung der Asymmetrie der Verifikation in den letzten Jahren ist AlphaEvolve, entwickelt von Google. Kurz gesagt, AlphaEvolve kann als eine sehr clevere Instanziierung von Raten und Überprüfen angesehen werden, die eine gnadenlose Optimierung eines Ziels ermöglicht, was zu mehreren mathematischen und operationellen Innovationen geführt hat.

Ein einfaches Beispiel für ein Problem, das von AlphaEvolve optimiert wurde, ist die Frage: „Finde das kleinste äußere Sechseck, das 11 Einheitssechsecken passt.“ Dieses Problem erfüllt alle fünf wünschenswerten Eigenschaften des Gesetzes des Verifiers. Tatsächlich glaube ich, dass jedes lösbare Problem, das diese fünf Eigenschaften erfüllt, in den nächsten Jahren gelöst wird.

Ein Aspekt der Probleme, die von AlphaEvolve gelöst werden, ist, dass man es als „Überanpassung“ an ein einzelnes Problem betrachten kann. Im traditionellen maschinellen Lernen kennen wir bereits die Labels im Trainingssatz, und der entscheidende Test bestand darin, die Generalisierung auf unbekannte Probleme zu messen. In der wissenschaftlichen Innovation befinden wir uns jedoch in einem völlig anderen Bereich, in dem wir nur daran interessiert sind, ein einzelnes Problem zu lösen (Training = Test!), da es sich um ein ungelöstes Problem handelt, das potenziell extrem wertvoll ist.

Implikationen für die Zukunft

Sobald man darüber nachgedacht hat, wird man feststellen, dass die Asymmetrie der Verifikation überall vorhanden ist. Es ist spannend, sich eine Welt vorzustellen, in der alles, was wir messen können, gelöst wird. Wir werden wahrscheinlich eine gezackte Kante der Intelligenz haben, in der KI viel intelligenter bei verifizierbaren Aufgaben ist, weil es so viel einfacher ist, verifizierbare Aufgaben zu lösen. Was für eine aufregende Zukunft!

Quellenliste:

• Quelle: ASYMMETRY OF VERIFICATION AND VERIFIER’S LAW
• BrowseComp
• AlphaEvolve
• Verifiability is the Limit