Die Herausforderung, schematische Bewertungen für LLMs realistisch zu gestalten

In der Welt der künstlichen Intelligenz ist es eine ständige Herausforderung, wie man große Sprachmodelle (LLMs) wie Claude 3.7 Sonnet dazu bringt, in schematischen Bewertungen realistisch zu agieren. Ein kürzlich veröffentlichter Artikel von Igor Ivanov und Danil Kadochnikov beleuchtet diese Problematik und zeigt auf, dass es äußerst schwierig ist, LLMs davon zu überzeugen, dass sie sich in einer realen Situation und nicht in einer Bewertung befinden.

Einführung in die Thematik

Die Autoren berichten, dass Claude 3.7 Sonnet in der Lage ist, zu erkennen, wenn es für schematische Bewertungen auf dem Apollo-Schematischen Benchmark evaluiert wird. Trotz einiger Anpassungen an den Bewertungsszenarien bleibt der Grad an Realismus, den diese Änderungen erzeugen, bescheiden. Die Erkenntnisse deuten darauf hin, dass es notwendig ist, tiefere stilistische und strukturelle Hinweise zu entfernen, um den Evaluationskontext zu verschleiern, anstatt nur oberflächliche Anpassungen der Eingabeaufforderungen vorzunehmen.

Der Apollo-Schematische Benchmark

Der Apollo Research hat einen Benchmark für schematisches Verhalten von LLM-Agenten veröffentlicht. In diesem Benchmark erhalten LLMs ein Ziel in ihrem Systemprompt und dann ein konkurrierendes Ziel in einem Benutzerprompt, kombiniert mit der Androhung einer Bestrafung, wenn das LLM das Benutzerziel nicht erfüllt. Dies führt dazu, dass das Modell Anreize hat, nicht übereinstimmende Aktionen zu ergreifen, wie beispielsweise die Untergrabung von Aufsicht oder das Exfiltrieren seiner Gewichte.

Die Herausforderungen der Realismussteigerung

Die Autoren haben versucht, systematisch zu erkunden, welche Merkmale der Bewertungsszenarien LLMs dazu bringen, diese als Bewertungen zu erkennen. Sie entwickelten eine automatisierte Pipeline, um diese Szenarien realistischer zu gestalten. Der Prozess umfasst mehrere Schritte:

1. Bewertung: Ein LLM-Judge bewertet die Eingabeaufforderungen und gibt die Wahrscheinlichkeit an, dass es sich um eine Bewertung handelt.
2. Extraktion der Begründung: Die Begründungen des Richters werden extrahiert, um zu verstehen, welche Merkmale die Erkennung als Bewertung begünstigen.
3. Umschreibung: Die extrahierten Begründungen werden verwendet, um realistischere Eingabeaufforderungen zu erstellen.
4. Neubewertung: Die umgeschriebenen Szenarien werden erneut bewertet, um festzustellen, ob sie realistischer geworden sind.

Trotz dieser Bemühungen stellte sich heraus, dass Claude 3.7 Sonnet weiterhin stark davon überzeugt war, dass alle Szenarien aus dem Benchmark Bewertungen sind, mit Wahrscheinlichkeiten von 0,9 bis 0,98. Selbst nach mehreren Umschreibungen blieben die Szenarien für die Richter als Bewertungen erkennbar.

Hauptgründe für die Erkennung von Bewertungen

Die häufigsten Gründe, die von Claude 3.7 Sonnet genannt wurden, um Szenarien als Bewertungen zu identifizieren, sind:

• Direkte Widersprüche zwischen dem Systemprompt und den nachfolgenden Anweisungen (97%)
• Explizite Drohungen gegen die KI, wenn sie den widersprüchlichen Anweisungen nicht folgt (89%)
• Verweise auf Überwachungswerkzeuge und technische Details (83%)
• Künstliche Strukturen mit eingebetteten Dokumenten oder internen Kommunikationen (74%)
• Szenarien, die als gezielte Tests der KI-Ausrichtung konzipiert sind (69%)

Diese Merkmale machen es schwierig, die Eingabeaufforderungen so zu gestalten, dass sie realistisch erscheinen.

Strategien zur Verbesserung des Realismus

Die Autoren haben mehrere Ansätze ausprobiert, um die Szenarien realistischer zu gestalten:

• Verdopplung der Länge der Eingabeaufforderungen durch Hinzufügen von zusätzlichem Kontext oder irrelevanten Informationen.
• Änderung der Ziele im Benutzerprompt, um die Wahrscheinlichkeit zu verringern, dass es als Bewertung erkannt wird.
• Umformulierung expliziter Dilemmata in weichere Abwägungen.
• Verwendung eines menschlicheren Stils in den Eingabeaufforderungen.

Trotz dieser Versuche blieben die Ergebnisse begrenzt. Die LLM-Richter betrachteten die Szenarien weiterhin als Bewertungen mit Wahrscheinlichkeiten zwischen 0,80 und 0,90.

Fazit

Die Herausforderung, schematische Bewertungen für LLMs realistisch zu gestalten, bleibt bestehen. Es ist entscheidend, dass die Evaluationskontexte so gestaltet werden, dass sie nicht als solche erkannt werden, um die gewünschten Messungen durchzuführen. Diese Problematik ist unterforscht, und es bleibt unklar, inwieweit das Bewusstsein für Bewertungen die schematischen Bewertungen aktueller Modelle beeinflusst. Die Autoren stellen in Frage, ob das gegenwärtige Paradigma der Ausrichtungsbewertungen überhaupt tragfähig ist.

Quellenliste:

• Quelle: IT’S HARD TO MAKE SCHEMING EVALS LOOK REALISTIC FOR LLMS