Warum ich etwas längere Zeitrahmen als einige meiner Gäste habe

Der Fortschritt der KI im letzten Jahrzehnt wurde durch die Skalierung der Trainingsressourcen an der Spitze der Systeme vorangetrieben. Diese Entwicklung kann jedoch nicht über dieses Jahrzehnt hinaus fortgesetzt werden.

Einführung

In meinem Podcast habe ich viele Diskussionen über die Zeitrahmen zur Erreichung von AGI (Artificial General Intelligence) geführt. Einige Gäste glauben, dass es noch 20 Jahre dauert, während andere von nur 2 Jahren sprechen. Hier sind meine Gedanken dazu, Stand Juni 2025.

Kontinuierliches Lernen als Flaschenhals

Manche Menschen sagen, dass selbst wenn alle Fortschritte in der KI völlig zum Stillstand kämen, die Systeme von heute immer noch weit wirtschaftlich transformativ wären als das Internet. Ich bin anderer Meinung. Die heutigen LLMs (Large Language Models) sind zwar beeindruckend, aber der Grund, warum Fortune-500-Unternehmen sie nicht zur Transformation ihrer Arbeitsabläufe einsetzen, liegt nicht daran, dass das Management zu starr ist. Vielmehr ist es wirklich schwierig, menschenähnliche Arbeitsleistungen aus LLMs zu erhalten. Dies hat mit grundlegenden Fähigkeiten zu tun, die diesen Modellen fehlen.

Ich betrachte mich als „KI-vorwärts“ hier beim Dwarkesh Podcast. Ich habe wahrscheinlich über hundert Stunden damit verbracht, kleine LLM-Tools für mein Postproduktionssetup zu entwickeln. Die Erfahrung, sie nützlich zu machen, hat meine Zeitrahmen verlängert. Ich versuche, die LLMs dazu zu bringen, automatisch generierte Transkripte so umzuformulieren, dass sie leserlicher sind, oder Clips aus dem Transkript zu identifizieren, die ich twittern kann. Manchmal versuche ich, sie dazu zu bringen, einen Aufsatz mit mir zu co-schreiben, Abschnitt für Abschnitt. Diese Aufgaben sollten im Repertoire der LLMs liegen, aber sie sind nur zu 5/10 in der Lage, sie zu bewältigen.

Das Problem des kontinuierlichen Lernens

Das grundlegende Problem ist, dass LLMs nicht im Laufe der Zeit besser werden, wie es ein Mensch tun würde. Das Fehlen von kontinuierlichem Lernen ist ein großes Problem. Die Basisleistung der LLMs bei vielen Aufgaben mag höher sein als die eines durchschnittlichen Menschen, aber es gibt keine Möglichkeit, einem Modell qualitatives Feedback zu geben. Man bleibt mit den Fähigkeiten, die man „out of the box“ erhält, stecken. Man kann mit dem System-Prompt herumspielen, aber das führt nicht zu dem Lernen und der Verbesserung, die menschliche Mitarbeiter erfahren.

Der Grund, warum Menschen so nützlich sind, liegt nicht hauptsächlich in ihrer rohen Intelligenz. Es ist ihre Fähigkeit, Kontext aufzubauen, ihre eigenen Fehler zu hinterfragen und kleine Verbesserungen und Effizienzen zu erkennen, während sie eine Aufgabe üben. Wie lehrt man ein Kind, Saxophon zu spielen? Man lässt es versuchen, in eines zu blasen, hört zu, wie es klingt, und passt an. Jetzt stelle dir vor, man würde das Saxophon so lehren: Ein Schüler macht einen Versuch. Sobald er einen Fehler macht, schickt man ihn weg und schreibt detaillierte Anweisungen darüber, was schiefgelaufen ist. Der nächste Schüler liest deine Notizen und versucht, Charlie Parker kalt zu spielen. Wenn er scheitert, verfeinerst du die Anweisungen für den nächsten Schüler. So würde es nicht funktionieren. Egal wie gut dein Prompt ist, kein Kind wird einfach durch das Lesen deiner Anweisungen lernen, wie man Saxophon spielt. Aber das ist die einzige Modalität, die wir als Benutzer haben, um LLMs etwas beizubringen.

Die Zukunft der KI

Ja, es gibt RL-Fine-Tuning, aber es ist einfach nicht ein absichtlicher, adaptiver Prozess wie menschliches Lernen. Meine Redakteure sind extrem gut geworden, und sie wären nicht so geworden, wenn wir maßgeschneiderte RL-Umgebungen für die verschiedenen Teilaufgaben ihrer Arbeit hätten erstellen müssen. Sie haben viele kleine Dinge selbst bemerkt und intensiv darüber nachgedacht, was beim Publikum ankommt, welche Art von Inhalten mich begeistert und wie sie ihre täglichen Arbeitsabläufe verbessern können.

Es ist möglich, sich vorzustellen, dass ein intelligenteres Modell eine dedizierte RL-Schleife für sich selbst aufbauen könnte, die von außen super organisch wirkt. Ich gebe ein qualitatives Feedback, und das Modell erstellt eine Reihe von überprüfbaren Übungsproblemen, um darauf zu lernen – vielleicht sogar eine ganze Umgebung, um die Fähigkeiten, die es für mangelhaft hält, zu üben. Aber das klingt wirklich schwierig. Und ich weiß nicht, wie gut diese Techniken auf verschiedene Arten von Aufgaben und Feedback verallgemeinert werden können. Irgendwann werden die Modelle in der Lage sein, im Job zu lernen, so subtil und organisch wie Menschen. Aber ich kann einfach nicht sehen, wie das in den nächsten Jahren geschehen könnte, da es keinen offensichtlichen Weg gibt, kontinuierliches Lernen in die Art von Modellen zu integrieren, die diese LLMs sind.

Computerverwendung und Prognosen

Als ich mit den Forschern von Anthropic, Sholto Douglas und Trenton Bricken, in meinem Podcast sprach, sagten sie, dass sie bis Ende nächsten Jahres zuverlässige Computerbenutzungsagenten erwarten. Wir haben bereits Computerbenutzungsagenten, aber sie sind ziemlich schlecht. Sie stellen sich etwas ganz anderes vor. Ihre Prognose ist, dass man einem KI-Agenten sagen sollte: „Mach meine Steuern.“ Und dieser Agent durchforstet deine E-Mails, Amazon-Bestellungen und Slack-Nachrichten, kommuniziert mit allen, von denen du Rechnungen benötigst, sammelt alle deine Belege, entscheidet, welche geschäftliche Ausgaben sind, fragt nach deiner Genehmigung für die Grenzfälle und reicht dann das Formular 1040 beim IRS ein.

Ich bin skeptisch. Ich bin kein KI-Forscher, also will ich ihnen nicht in den technischen Details widersprechen. Aber hier sind einige Gründe, warum ich gegen diese Prognose wetten würde: Je länger die Horizonte werden, desto länger müssen die Rollouts werden. Die KI muss zwei Stunden lang Aufgaben der Computerbenutzung erledigen, bevor wir überhaupt sehen können, ob sie es richtig gemacht hat. Abgesehen davon erfordert die Computerbenutzung die Verarbeitung von Bildern und Videos, was bereits rechenintensiver ist, selbst wenn man die längeren Rollouts nicht einbezieht. Das sollte den Fortschritt verlangsamen.

Fazit

Zusammenfassend lässt sich sagen, dass ich pessimistisch bin, was transformative KI in den nächsten Jahren angeht, aber ich bin besonders optimistisch für die KI in den kommenden Jahrzehnten. Wenn wir kontinuierliches Lernen lösen, werden wir eine enorme Diskontinuität im Wert der Modelle sehen. Auch wenn es keinen softwarebasierten Singularität gibt, könnten wir dennoch etwas erleben, das wie eine breit angelegte Intelligenzexplosion aussieht. KIs werden breit in der Wirtschaft eingesetzt, verschiedene Jobs erledigen und während ihrer Arbeit lernen, so wie Menschen es können.