Context Engineering für AI-Agenten: Lektionen aus dem Bau von Manus

Context Engineering ist eine aufstrebende Wissenschaft, die zunehmend an Bedeutung gewinnt. Während Modelle immer leistungsfähiger werden, kann keine Menge an Rohkapazität den Bedarf an Gedächtnis, Umgebung und Feedback ersetzen. Der Kontext definiert, wie schnell Agenten agieren, wie gut sie sich erholen und wie weit sie skalieren können. Dieser Artikel teilt Muster, die für das Team von Manus während der Entwicklung funktioniert haben. Die Lektionen wurden durch wiederholte Überarbeitungen, Sackgassen und reale Tests mit Millionen von Nutzern gelernt.

Einführung in Context Engineering

Zu Beginn des Projekts Manus standen mein Team und ich vor einer entscheidenden Entscheidung: Sollten wir ein End-to-End-Agentenmodell auf der Basis von Open-Source-Grundlagen trainieren oder einen Agenten auf den In-Context-Lernfähigkeiten von fortschrittlichen Modellen aufbauen? In meinen ersten zehn Jahren in der NLP-Welt hatten wir nicht die Freiheit, diese Wahl zu treffen. In den frühen Tagen von BERT mussten Modelle feinjustiert und evaluiert werden, bevor sie auf eine neue Aufgabe übertragen werden konnten. Dieser Prozess dauerte oft Wochen pro Iteration, obwohl die Modelle im Vergleich zu heutigen LLMs winzig waren. Für schnelllebige Anwendungen, insbesondere vor dem Product-Market-Fit (PMF), sind solche langsamen Feedbackschleifen ein Dealbreaker.

Die Bedeutung der KV-Cache-Hit-Rate

Wenn ich nur eine Kennzahl wählen müsste, würde ich sagen, dass die KV-Cache-Hit-Rate die wichtigste Kennzahl für einen produktionsreifen AI-Agenten ist. Sie beeinflusst sowohl die Latenz als auch die Kosten direkt. Nach dem Erhalt einer Benutzereingabe durchläuft der Agent eine Kette von Werkzeugnutzungen, um die Aufgabe zu erfüllen. In jedem Schritt wählt das Modell eine Aktion aus einem vordefinierten Aktionsraum basierend auf dem aktuellen Kontext. Diese Aktion wird dann in der Umgebung ausgeführt, um eine Beobachtung zu erzeugen. Die Aktion und die Beobachtung werden dem Kontext hinzugefügt, der die Eingabe für die nächste Iteration bildet.

Gestaltung des Aktionsraums

Mit zunehmenden Fähigkeiten des Agenten wächst auch sein Aktionsraum. Ein natürlicher Impuls ist es, einen dynamischen Aktionsraum zu gestalten, vielleicht durch das Laden von Werkzeugen nach Bedarf. Unsere Experimente haben jedoch gezeigt, dass es besser ist, Werkzeuge nicht dynamisch während einer Iteration hinzuzufügen oder zu entfernen. Stattdessen verwenden wir eine kontextbewusste Zustandsmaschine, um die Verfügbarkeit von Werkzeugen zu verwalten. Anstatt Werkzeuge zu entfernen, maskieren wir die Token-Logits während des Decodings, um die Auswahl bestimmter Aktionen basierend auf dem aktuellen Kontext zu verhindern oder zu erzwingen.

Das Dateisystem als Kontext nutzen

Moderne LLMs bieten Kontextfenster von 128K Tokens oder mehr. In realen agentischen Szenarien ist das oft nicht genug. Daher behandeln wir das Dateisystem als den ultimativen Kontext: unbegrenzt in der Größe, persistent und direkt vom Agenten bedienbar. Das Modell lernt, nach Bedarf in Dateien zu schreiben und zu lesen, wodurch das Dateisystem nicht nur als Speicher, sondern als strukturierte, externalisierte Erinnerung fungiert.

Manipulation der Aufmerksamkeit durch Rekitation

Wenn Sie mit Manus gearbeitet haben, haben Sie wahrscheinlich bemerkt, dass es beim Umgang mit komplexen Aufgaben dazu neigt, eine todo.md-Datei zu erstellen und diese schrittweise zu aktualisieren. Dies ist ein bewusster Mechanismus zur Manipulation der Aufmerksamkeit. Durch das ständige Umschreiben der To-Do-Liste recitiert Manus seine Ziele in den Kontext und vermeidet so Probleme mit dem „Verloren-in-der-Mitte“ und reduziert die Zielabweichung.

Fehler als Teil des Prozesses akzeptieren

Agenten machen Fehler. Das ist keine Fehlfunktion, sondern Realität. Ein häufiger Impuls ist es, diese Fehler zu verbergen. Aber das Entfernen von Fehlern entfernt auch Beweise. Ohne Beweise kann das Modell sich nicht anpassen. Eine der effektivsten Methoden zur Verbesserung des Verhaltens von Agenten besteht darin, die falschen Entscheidungen im Kontext zu belassen. Wenn das Modell eine fehlgeschlagene Aktion sieht, aktualisiert es implizit seine internen Überzeugungen und verringert die Wahrscheinlichkeit, denselben Fehler zu wiederholen.

Aktuelle Trends und Herausforderungen

Aktuelle Trends im Bereich AI-Agenten umfassen die zunehmende Integration von maschinellem Lernen in Echtzeitanwendungen, die Verbesserung der Benutzerinteraktion durch kontextbewusste Systeme und die Herausforderungen bei der Gewährleistung von Datenschutz und ethischen Standards. Diese Faktoren beeinflussen die Entwicklung und den Einsatz von AI-Agenten erheblich.

Fazit

Context Engineering ist eine aufstrebende Wissenschaft, die für agentische Systeme von entscheidender Bedeutung ist. Wie Sie den Kontext gestalten, definiert letztendlich, wie Ihr Agent agiert: wie schnell er läuft, wie gut er sich erholt und wie weit er skalieren kann. Die Lektionen, die wir bei Manus gelernt haben, stammen aus wiederholten Überarbeitungen, Sackgassen und realen Tests mit Millionen von Nutzern. Wenn diese Prinzipien Ihnen helfen, auch nur eine schmerzhafte Iteration zu vermeiden, hat dieser Artikel seine Aufgabe erfüllt.

Quellenliste:

• Quelle: Context Engineering for AI Agents: Lessons from Building Manus
• In-Context Learning
• BERT
• Open Information Extraction
• GPT-3
• Flan-T5
• KV-Caching Explained
• Retrieval-Augmented Generation
• Finite State Machine
• Neural Turing Machines