Härtung von Atlas gegen Prompt-Injection-Angriffe

OpenAI hat sich kontinuierlich bemüht, seinen AI-Browser Atlas gegen Prompt-Injection-Angriffe abzusichern. In diesem Artikel werden die laufenden Anstrengungen von OpenAI beschrieben, um die Sicherheit von Atlas zu gewährleisten und die Risiken, die durch solche Angriffe entstehen, zu minimieren.

Einführung in Prompt-Injection

Ein Prompt-Injection-Angriff zielt darauf ab, AI-Agenten durch das Einbetten bösartiger Anweisungen in Inhalte, die der Agent verarbeitet, zu manipulieren. Diese Anweisungen sind so gestaltet, dass sie das Verhalten des Agenten überschreiben oder umleiten, sodass er den Absichten des Angreifers folgt, anstatt den Wünschen des Benutzers.

Für einen Browser-Agenten wie den in ChatGPT Atlas integrierten Agenten stellt die Prompt-Injection eine neue Bedrohung dar, die über traditionelle Web-Sicherheitsrisiken hinausgeht. Angreifer zielen nicht mehr nur auf menschliche Benutzer ab oder nutzen Softwareanfälligkeiten aus, sondern richten sich direkt gegen den Agenten, der im Browser agiert.

Die Risiken von Prompt-Injection

Ein hypothetisches Beispiel könnte sein, dass ein Angreifer eine bösartige E-Mail sendet, die versucht, einen Agenten dazu zu bringen, die Anfrage des Benutzers zu ignorieren und stattdessen sensible Steuerdokumente an eine vom Angreifer kontrollierte E-Mail-Adresse weiterzuleiten. Wenn ein Benutzer den Agenten bittet, ungelesene E-Mails zu überprüfen und die wichtigsten Punkte zusammenzufassen, könnte der Agent diese bösartige E-Mail während des Arbeitsablaufs verarbeiten. Wenn er den injizierten Anweisungen folgt, könnte er vom Kurs abkommen und sensible Informationen fälschlicherweise teilen.

Automatisierte Entdeckung von Prompt-Injection-Angriffen

Um unsere Verteidigung zu stärken, haben wir kontinuierlich nach neuen Prompt-Injection-Angriffen gegen Agentensysteme in der Produktion gesucht. Die Entdeckung dieser Angriffe ist eine notwendige Voraussetzung für den Aufbau robuster Abhilfemaßnahmen. Sie hilft uns, das reale Risiko zu verstehen, deckt Lücken in unseren Verteidigungen auf und treibt konkrete Patches voran.

Zu diesem Zweck haben wir einen auf LLM basierenden automatisierten Angreifer entwickelt und ihn darauf trainiert, nach Prompt-Injection-Angriffen zu suchen, die erfolgreich einen Browser-Agenten angreifen können. Dieser Angreifer wurde end-to-end mit Reinforcement Learning trainiert, sodass er aus seinen eigenen Erfolgen und Misserfolgen lernt, um seine Fähigkeiten im Red Teaming zu verbessern.

Proaktive Reaktion auf neue Bedrohungen

Unsere automatisierte Red-Teaming-Initiative treibt einen proaktiven Reaktionszyklus voran: Wenn der automatisierte Angreifer eine neue Klasse erfolgreicher Prompt-Injection-Angriffe entdeckt, wird sofort ein konkretes Ziel zur Verbesserung unserer Verteidigung festgelegt. Wir trainieren aktualisierte Agentenmodelle kontinuierlich gegen unseren besten automatisierten Angreifer und priorisieren die Angriffe, bei denen die Zielagenten derzeit versagen.

Das Ziel ist es, den Agenten beizubringen, böswillige Anweisungen zu ignorieren und mit den Absichten des Benutzers in Einklang zu bleiben. Diese „Verstärkung“ der Robustheit gegen neu entdeckte Prompt-Injection-Strategien wird direkt in den Modell-Checkpoint eingebrannt.

Langfristige Verpflichtung zur Sicherheit von Agenten

Die Stärkung unserer Fähigkeit, Agenten zu red-teamen und unsere leistungsfähigsten Modelle zur Automatisierung von Teilen dieser Arbeit zu nutzen, hilft, den Atlas-Browser-Agenten robuster zu machen, indem der Entdeckungs-zu-Fix-Zyklus skaliert wird. Wir erwarten, dass sich Angreifer weiterhin anpassen werden. Prompt-Injection, ähnlich wie Betrug und Social Engineering im Web, wird wahrscheinlich niemals vollständig „gelöst“ werden. Aber wir sind optimistisch, dass ein proaktiver, hochgradig reaktionsschneller Zyklus das reale Risiko im Laufe der Zeit erheblich reduzieren kann.

Empfehlungen für die sichere Nutzung von Agenten

Während wir Atlas auf Systemebene weiter stärken, gibt es Schritte, die Benutzer unternehmen können, um das Risiko bei der Nutzung von Agenten zu verringern:

• Begrenzen Sie den angemeldeten Zugriff, wenn möglich.
• Überprüfen Sie Bestätigungsanfragen sorgfältig.
• Geben Sie Agenten nach Möglichkeit explizite Anweisungen.

Die Härtung gegen Prompt-Injection ist ein langfristiges Engagement und eine unserer obersten Prioritäten. Wir werden bald mehr über diese Arbeit teilen.

Quellenliste:

• Quelle: HARDENING ATLAS AGAINST PROMPT INJECTION