Was wir beim Vergleich von Basis- und Chat-Modellen gelernt haben und warum es wichtig ist

In der Welt der künstlichen Intelligenz ist das Verständnis der Unterschiede zwischen Basis- und Chat-Modellen von entscheidender Bedeutung. Forscher haben sich intensiv mit den internen Änderungen beschäftigt, die während des Feinabstimmungsprozesses von Modellen auftreten. In diesem Artikel werden wir die Ergebnisse dieser Forschung und deren Bedeutung für die Sicherheit von KI-Modellen untersuchen.

Einführung in das Modell-Diffing

Modelldiffing ist die Untersuchung der mechanistischen Änderungen, die während der Feinabstimmung eines Modells eingeführt werden. Es geht darum zu verstehen, was ein feinabgestimmtes Modell intern von seinem Basis-Modell unterscheidet. Da die Feinabstimmung in der Regel weniger Rechenleistung erfordert und gezieltere Änderungen als das Pretraining beinhaltet, sollten diese Modifikationen leichter zu verstehen sein. Gleichzeitig treten viele besorgniserregende Verhaltensweisen, wie Belohnungshacking und sycophantisches Verhalten, während der Feinabstimmung auf, was das Modell-Diffing zu einem wertvollen Werkzeug macht, um Probleme vor der Bereitstellung zu erkennen.

Die Rolle von RLHF

Die Verstärkung des Lernens durch menschliches Feedback (RLHF) wird oft als eine Art “Maske” dargestellt, die auf die Rohfähigkeiten des Basis-Modells angewendet wird. Ein Ziel des Modell-Diffings ist es, diese Maske genauer zu untersuchen, anstatt das gesamte System aus Basis-Modell und Maske zu betrachten.

Ergebnisse der Forschung

In unserer Untersuchung haben wir verschiedene Techniken des Modell-Diffings angewendet, um die internen Unterschiede zwischen Basis- und Chat-Modellen zu analysieren. Wir haben die Crosscoders-Methode verwendet, die von Anthropic entwickelt wurde, um ein gemeinsames Wörterbuch zwischen den Aktivierungen des Basis- und des Chat-Modells zu lernen. Diese Methode ermöglicht es uns, latente Merkmale zu identifizieren, die spezifisch für das Chat-Modell sind.

Latent Scaling

Eine neue Metrik, die wir eingeführt haben, ist das Latent Scaling. Diese Metrik quantifiziert, wie modell-spezifisch ein latentes Merkmal ist. Unsere Ergebnisse zeigten, dass viele der als “chat-only” identifizierten latenten Merkmale tatsächlich auch im Basis-Modell vorhanden waren, jedoch in unterschiedlichen Intensitäten. Dies geschah aufgrund der L1-Sparsity-Strafe, die in den Standard-Crosscodern verwendet wird und Artefakte erzeugt, die die Interpretation erschweren.

Die Lösung: BatchTopK Crosscoders

Um die Probleme mit den L1-Strafen zu beheben, haben wir die BatchTopK-Methode eingeführt. Diese Methode erzwingt wahre L0-Sparsity, indem sie die k wichtigsten latenten Merkmale für jede Eingabe auswählt, unabhängig von deren Aktivierungsstärke. Bei der Anwendung dieser Methode verschwanden die falschen “chat-only” latenten Merkmale, und wir konnten mehr echte chat-spezifische latente Merkmale identifizieren.

Verhaltensunterschiede erfassen

Ein wichtiger Aspekt des Modell-Diffings ist die Fähigkeit, die Verhaltensunterschiede zwischen den Modellen zu erfassen. Wir haben die chat-spezifischen latenten Merkmale in die Aktivierungen des Basis-Modells integriert und die Ergebnisse durch die verbleibenden Schichten des Chat-Modells geleitet. Unsere Experimente zeigten, dass die diff-SAEs fast alle Verhaltensunterschiede erfassten, während die Crosscoders nur einen Teil davon erfassten.

Fazit und Ausblick

Die Ergebnisse unserer Forschung zeigen, dass das Modell-Diffing ein vielversprechendes Forschungsfeld ist, das mehr Aufmerksamkeit verdient. Die Herausforderungen, die mit der objektiven Bewertung der Methoden verbunden sind, sind jedoch erheblich. Wir empfehlen, auch SAE-basierte Alternativen in Betracht zu ziehen, da die diff-SAEs besonders vielversprechend erscheinen. Zukünftige Forschungsrichtungen könnten die Verwendung von Modell-Diffing zur Fehlersuche spezifischer Modellverhalten umfassen.

Quellenliste:

• Quelle: WHAT WE LEARNED TRYING TO DIFF BASE AND CHAT MODELS AND WHY IT MATTERS
• Crosscoders: A Sparse Dictionary Diffing Method
• Latent Scaling Paper
• OpenAI Emergent Misalignment Study