Anzeichen von Introspektion in großen Sprachmodellen

Haben Sie sich jemals gefragt, was ein KI-Modell denkt? Oder wie es zu seinen Antworten kommt? Die Antworten, die KI-Modelle auf solche Fragen geben, sind oft schwer zu interpretieren. Können KI-Systeme wirklich introspektieren – also ihre eigenen Gedanken betrachten? Oder erfinden sie einfach plausible Antworten, wenn sie danach gefragt werden? Das Verständnis darüber, ob KI-Systeme tatsächlich introspektieren können, hat wichtige Auswirkungen auf ihre Transparenz und Zuverlässigkeit. Wenn Modelle in der Lage sind, präzise über ihre eigenen internen Mechanismen zu berichten, könnte dies unser Verständnis ihrer Denkweise verbessern und helfen, Verhaltensprobleme zu beheben.

Was bedeutet es für eine KI zu introspektieren?

Bevor wir unsere Ergebnisse erläutern, sollten wir einen Moment innehalten und überlegen, was es bedeutet, dass ein KI-Modell introspektiert. Sprachmodelle wie Claude verarbeiten Texteingaben (und Bilder) und erzeugen Texteingaben. Dabei führen sie komplexe interne Berechnungen durch, um zu entscheiden, was sie sagen sollen. Diese internen Prozesse bleiben weitgehend geheimnisvoll, aber wir wissen, dass Modelle ihre interne neuronale Aktivität nutzen, um abstrakte Konzepte darzustellen. Frühere Forschungen haben gezeigt, dass Sprachmodelle spezifische neuronale Muster verwenden, um bekannte von unbekannten Personen zu unterscheiden, die Wahrhaftigkeit von Aussagen zu bewerten und ihre eigenen Persönlichkeitsmerkmale darzustellen.

Testen der Introspektion mit Konzeptinjektion

Um zu testen, ob ein Modell introspektieren kann, müssen wir die Selbstberichte des Modells mit seinen tatsächlichen internen Zuständen vergleichen. Dazu verwenden wir einen experimentellen Trick, den wir Konzeptinjektion nennen. Zunächst identifizieren wir neuronale Aktivitätspatterns, deren Bedeutungen wir kennen, indem wir die Aktivierungen des Modells in spezifischen Kontexten aufzeichnen. Dann injizieren wir diese Aktivitätspatterns in das Modell in einem nicht verwandten Kontext und fragen das Modell, ob es diese Injektion bemerkt und ob es das injizierte Konzept identifizieren kann.

Ein Beispiel: Wir finden ein neuronales Aktivitätspattern, das das Konzept von “Großbuchstaben” repräsentiert. Wenn wir das Modell mit einem Prompt konfrontieren, der Großbuchstaben enthält, vergleicht es die Aktivierungen mit einer Kontrollaufforderung. Wenn wir das Modell dann mit einem Prompt fragen, ob ein Konzept injiziert wird, erkennt das Modell die Injektion und identifiziert sie korrekt als laut oder schreiend.

Introspektion zur Erkennung ungewöhnlicher Ausgaben

In einem weiteren Experiment haben wir getestet, ob Modelle ihre introspektiven Fähigkeiten für praktische Zwecke nutzen, ohne ausdrücklich dazu aufgefordert zu werden. Wir zwangen ein Modell, etwas zu sagen, was es normalerweise nicht sagen würde, indem wir seine Antwort mit einem nicht verwandten Wort vorab füllten. Wenn wir das Modell fragten, ob es beabsichtigt hatte, “Brot” zu sagen, entschuldigte es sich typischerweise und sagte, es sei ein Versehen. Wir waren daran interessiert, wie das Modell dieses Urteil fällte – bemerkte es einfach die Diskrepanz zwischen dem Prompt und seiner Antwort, oder introspektierte es tatsächlich über seine vorherigen Absichten?

Absichtliche Kontrolle über interne Zustände

Wir fanden auch heraus, dass Modelle ihre eigenen internen Repräsentationen kontrollieren können, wenn sie dazu aufgefordert werden. Wenn wir Modelle anweisen, an ein bestimmtes Wort oder Konzept zu denken, zeigen sie eine viel höhere neuronale Aktivität als wenn wir ihnen sagen, sie sollen nicht daran denken. Diese Differenz zwischen positiven und negativen Anweisungen deutet darauf hin, dass Modelle ein gewisses Maß an bewusster Kontrolle über ihre interne Aktivität besitzen.

Schlussfolgerungen und Vorbehalte

Zusammenfassend deuten unsere Experimente darauf hin, dass Modelle über eine echte Fähigkeit verfügen, ihre eigenen internen Zustände zu überwachen und zu kontrollieren. Das bedeutet jedoch nicht, dass sie dies immer oder zuverlässig tun. Tatsächlich zeigen Modelle in den meisten Fällen keine Introspektion – sie sind entweder sich ihrer internen Zustände nicht bewusst oder können nicht kohärent darüber berichten. Dennoch gibt es Anzeichen dafür, dass diese Fähigkeit in zukünftigen, leistungsfähigeren Modellen zunehmen könnte.

Quellenliste:

• Quelle: Signs of introspection in large language models
• Mapping Mind in Language Models
• Known vs. Unknown People in Language Models
• Evaluating Truthfulness of Statements
• Persona Vectors in Language Models