AGENTS, TOOLS, AND SIMULATORS: Ein tiefgehender Blick auf die Konzepte der KI

AI kann durch drei konzeptionelle Linsen betrachtet werden, die jeweils unterschiedliche Einblicke in ihre Fähigkeiten und Risiken bieten: als Werkzeug, als Agent oder als Simulator. Während Werkzeuge menschliche Absichten erweitern und Kontrolle erfordern, verfolgen Agenten unabhängig Ziele, und Simulatoren ahmen Prozesse ohne spezifische Ziele nach.

Einführung

Die Richtlinien und Forschungsrichtungen, die im Hinblick auf KI sinnvoll sind, hängen stark von der konzeptionellen Linse ab, die man verwendet, um die Natur der KI zu verstehen, wie sie derzeit existiert. Implizit im Design von Produkten wie ChatGPT – und explizit in vielen Verteidigungen der Tech-Industrie für die fortgesetzte Entwicklung – steht die „Werkzeug“-Linse. Das bedeutet, dass KI ein Werkzeug ist, das das tut, was die Benutzer von ihr verlangen. Sie kann für gefährliche Zwecke verwendet werden, aber das Werkzeug selbst ist nicht gefährlich. Im Gegensatz dazu verwendet die Diskussion über x-Risiken von KI-Sicherheitsbefürwortern oft eine „Agenten“-Linse. Das heißt, Instanzen von KI-Modellen können als unabhängige Wesen betrachtet werden, die Dinge wollen und in Dienst dieser Ziele handeln.

Die Agenten-Linse

Ein Agent ist ein Wesen, dessen Verhalten in seinen Konsequenzen komprimiert werden kann. Mit zunehmenden Fähigkeiten eines Agenten sollte man erwarten, dass er zunehmend komplexeres Verhalten zeigt, das seine Ziele immer häufiger erreicht. Zum Beispiel produziert Reinforcement Learning agentische Modelle, deren Ziele sich mit den Zielen des Trainingsprozesses decken, je komplexer die Trainingsumgebung wird. Eigenschaften, die ein Wesen agentischer machen, sind:

1. Ziele können als kohärente Menge ausgedrückt werden.
2. Ziele bestehen in verschiedenen Kontexten fort.
3. Sie unternehmen instrumentelle Schritte, die sie nicht intrinsisch wertschätzen, einschließlich der Umgehung von Hindernissen.

Ein häufiges, aber nicht definierendes Merkmal von Agenten ist, dass sie dazu neigen, rekursiv Unterziele zu bilden, die ihren terminalen Zielen dienen. Diese Unterziele, die ursprünglich aus instrumentellen Gründen gebildet wurden, werden zu Zielen an sich, die gegen die ursprünglichen Ziele ziehen können, insbesondere wenn sich der Kontext des Agenten ändert.

Die Werkzeug-Linse

Ein Werkzeug ist ein Wesen, dessen Natur in die Möglichkeiten komprimiert werden kann, die es einem Agenten bietet. Das Verhalten eines Werkzeugs wird vollständig durch die Handlungen eines Agenten bestimmt, der das Werkzeug benutzt, wobei die Ergebnisse eine Kombination aus den Zielen des Agenten und den Möglichkeiten des Werkzeugs sind. Eigenschaften, die ein Wesen werkzeugähnlicher machen, sind:

1. Inert ohne die Anwesenheit eines Agenten.
2. Erweiterung der Absicht des Agenten.
3. Vorhersehbar durch einen Agenten, der in seiner Nutzung fähig ist.

Diese Definition beschreibt nicht tatsächlich das Wesen selbst, sondern vielmehr die Beziehung zwischen dem Wesen und dem Agenten, der es nutzt, und ist somit kontextabhängig.

Die Simulator-Linse

Ein Simulator ist ein Wesen, dessen Natur in die Muster des Systems komprimiert werden kann, das es modelliert. Im Gegensatz zu einem Agenten, dessen Verhalten am prägnantesten durch den Weltzustand beschrieben wird, den er zu erreichen versucht, wird das Verhalten eines Simulators am prägnantesten durch die Regeln beschrieben, die er anwendet, um den aktuellen Weltzustand zu verändern. Eigenschaften, die ein Wesen simulatorähnlicher machen, sind:

1. Treue Reproduktion von Dynamiken innerhalb eines definierten Rahmens.
2. Erfasst Muster, anstatt spezifische Beispiele zu memorieren.
3. Erhält Kohärenz, ohne sich auf einen bestimmten Verlauf zu fixieren.

Anwendung auf LLMs