Eine Einführung in Googles Ansatz zur Sicherheit von KI-Agenten

In einem kürzlich veröffentlichten Papier beschreibt Google die wesentlichen Risiken, die mit dem Einsatz von KI-Agenten verbunden sind, sowie den Rahmen des Unternehmens zur Sicherung dieser Systeme.

Einführung

Das Papier mit dem Titel „Eine Einführung in Googles Ansatz zur Sicherheit von KI-Agenten“ wurde von Santiago Díaz, Christoph Kern und Kara Olive verfasst. Es beschreibt sich selbst als „unseren aspirationalen Rahmen für sichere KI-Agenten“ und bietet interessante Einblicke in die Herausforderungen und Lösungen im Bereich der KI-Sicherheit.

Die zwei Hauptgefahren

Das Papier identifiziert zwei zentrale Risiken, die beim Einsatz von KI-Agenten berücksichtigt werden müssen:

„Die primären Bedenken, die strategische Aufmerksamkeit erfordern, sind abträgliche Aktionen (unbeabsichtigte, schädliche oder politikverletzende Handlungen) und die Offenlegung sensibler Daten (unauthorisierte Enthüllung privater Informationen).“

Eine grundlegende Spannung besteht zwischen der erhöhten Autonomie und Macht der Agenten, die deren Nützlichkeit steigern, und dem damit verbundenen erhöhten Risiko.

Rogue Actions und sensitive Datenoffenlegung

Die Risiken abträglicher Aktionen und sensibler Datenoffenlegung werden im Papier detailliert behandelt. Abträgliche Aktionen sind definiert als:

„Unbeabsichtigte, schädliche oder politikverletzende Verhaltensweisen von Agenten, die ein primäres Sicherheitsrisiko für KI-Agenten darstellen.“

Ein Schlüsselursache ist die sogenannte „Prompt Injection“, bei der bösartige Anweisungen in verarbeiteten Daten versteckt sind, die das KI-Modell des Agenten täuschen können.

Die Offenlegung sensibler Daten erfolgt häufig durch Datenexfiltration, bei der Angreifer den Agenten dazu bringen, sensible Informationen sichtbar zu machen. Dies geschieht oft durch die Ausnutzung von Agentenaktionen und deren Nebeneffekten, typischerweise ausgelöst durch Prompt Injection.

Drei Kernprinzipien für die Sicherheit von Agenten

Das Papier beschreibt drei grundlegende Prinzipien für die Sicherheit von KI-Agenten:

Prinzip 1: Klare menschliche Kontrolle

Agenten müssen unter klarer menschlicher Aufsicht arbeiten. Es ist entscheidend, dass Systeme zuverlässig zwischen Anweisungen von autorisierten Benutzern und anderen, potenziell untrusted Daten unterscheiden können.

Prinzip 2: Begrenzung der Agentenbefugnisse

Die Befugnisse eines Agenten müssen sorgfältig begrenzt werden, um sicherzustellen, dass sie mit ihrem vorgesehenen Zweck und der Risikobereitschaft des kontrollierenden Benutzers übereinstimmen. Beispielsweise sollte ein Agent, der für Forschungszwecke konzipiert ist, nicht die Befugnis haben, Finanzkonten zu ändern.

Prinzip 3: Beobachtbarkeit von Agentenaktionen

Die Aktionen eines Agenten müssen beobachtbar und auditierbar sein. Dies ist entscheidend, um sicherzustellen, dass der Agent treu handelt und um Probleme zu diagnostizieren.

Googles hybride Verteidigungsstrategie

Das Papier beschreibt auch Googles hybride Verteidigungsstrategie, die traditionelle, deterministische Sicherheitsmaßnahmen mit dynamischen, reasoning-basierten Verteidigungen kombiniert. Die erste Schicht umfasst:

„Traditionelle, deterministische Maßnahmen (Laufzeit-Policy-Durchsetzung).“

Diese Schicht evaluiert Anfragen eines Agenten basierend auf vordefinierten Regeln und dem inhärenten Risiko der Aktion.

Die zweite Schicht, die reasoning-basierte Verteidigungsstrategien umfasst, nutzt KI-Modelle, um Eingaben und Ausgaben auf potenzielle Risiken zu bewerten. Diese Strategien sind jedoch nicht deterministisch und können keine absoluten Garantien bieten.

Fazit

Googles Ansatz zur Sicherheit von KI-Agenten ist ein vielversprechender Schritt in die richtige Richtung, um die Risiken, die mit der Autonomie von KI-Systemen verbunden sind, zu minimieren. Die Identifizierung von Risiken und die Umsetzung klarer Prinzipien zur Kontrolle und Beobachtbarkeit sind entscheidend, um das Vertrauen in diese Technologien zu stärken.

Quellenliste:

• Quelle: An Introduction to Google’s Approach to AI Agent Security
• Design Patterns for Securing LLM Agents against Prompt Injections
• Exfiltration Attacks