KONTEXTKOMPRESSION IN LLMs: HERAUSFORDERUNGEN UND LÖSUNGEN

In der Welt der Large Language Models (LLMs) stehen Entwickler vor der Herausforderung, den Kontext über längere Konversationen hinweg effektiv zu verwalten. Dies ist besonders wichtig, da LLMs nur auf die Tokens in ihrem aktuellen Prompt achten können und die meisten Modelle ein begrenztes Kontextfenster haben. Wenn Gespräche oder mehrstufige Workflows dieses Limit überschreiten, kann dies die Qualität der Inferenz beeinträchtigen und die Kosten in die Höhe treiben. In diesem Artikel beleuchten wir die Ansätze zur Kontextkompression, die von Factory entwickelt wurden, um diese Herausforderungen zu meistern.

Die Herausforderung der Kontextverwaltung

LLMs sind darauf angewiesen, Informationen aus vorherigen Konversationen zu nutzen, um qualitativ hochwertige Antworten zu generieren. Doch sobald die Anzahl der Tokens das vorgegebene Limit überschreitet, wird es schwierig, relevante Informationen zu behalten. Factory hat eine Strategie entwickelt, die es ermöglicht, eine leichte, persistente Konversationshistorie zu führen, die nur die tatsächlich wichtigen Informationen enthält. Anstatt die gesamte Konversation zu speichern, wird eine zusammenfassende Darstellung der vorherigen Gespräche aufrechterhalten.

Naive Ansätze zur Kontextkompression

Ein einfacher Ansatz zur Verwaltung des Kontextfensters besteht darin, die Konversation während der Laufzeit mit einem Zusammenfassungsmodell zu komprimieren. Bei jeder Anfrage wird überprüft, ob die gesamte Konversation das Kompressionstoleranzlimit überschreitet. Wenn dies der Fall ist, wird entschieden, wie viele Nachrichten am Ende beibehalten werden können, während der Rest zusammengefasst wird. Obwohl dieser Ansatz einfach erscheint, hat er erhebliche Einschränkungen:

• Redundante Neuzusammenfassungen: Jede Anfrage löst eine vollständige Neuzusammenfassung der gesamten Konversationshistorie aus, selbst wenn ein Großteil bereits in der vorherigen Runde zusammengefasst wurde.
• Wachsende Kosten: Der Umfang der zusammenzufassenden Informationen wächst mit jeder Runde, was zu höheren Kosten und längeren Wartezeiten führt.
• Hierarchische Zusammenfassungen: Aktuelle Modelle haben eine maximale Kontextlänge von etwa 1 Million Tokens. Wenn diese überschritten wird, ist eine einmalige Zusammenfassung nicht mehr möglich.
• Ständige Grenznähe: Sobald mit der Zusammenfassung begonnen wird, bleibt man permanent am Maximum des Kontextes, was empirisch die Antwortqualität beeinträchtigt.

Der Ansatz von Factory

Im Gegensatz zu den naiven Ansätzen verfolgt Factory eine systematische Methode zur Aufrechterhaltung einer persistierenden Zusammenfassung. Diese wird inkrementell aktualisiert, wenn alte Nachrichten gekürzt werden. Die Methode basiert auf zwei Hauptschwellen:

• Tmax: Wenn der gesamte Kontext diese Anzahl erreicht, wird eine Kompression durchgeführt.
• Tretained: Die Anzahl der Tokens, die während des Kompressionsprozesses beibehalten werden, ist immer niedriger als Tmax.

Diese Schwellenwerte schaffen einen klassischen Kompromiss zwischen Leistung und Qualität. Höhere Kompressionstoleranzen bewahren mehr Kontext, erhöhen jedoch die Kosten und die Latenz. Es ist wichtig, die richtige Balance zu finden, um die Qualität der Inferenz zu maximieren und gleichzeitig die Kosten zu minimieren.

Die falsche Ökonomie der Überkompression

Eine zu aggressive Kürzung des Kontexts kann nach hinten losgehen. Wenn wichtige Informationen zusammengefasst werden, muss der Agent diese erneut abrufen, was zusätzliche Anfragen und Latenzzeiten verursacht. In Workflows, die dieselben Informationen mehrmals benötigen, können diese zusätzlichen Runden die Einsparungen bei den Tokens übersteigen. Das Ziel sollte sein, die Tokens pro Aufgabe zu minimieren, nicht pro Anfrage.

Wichtige Informationen, die überleben müssen

Bestimmte Informationen sind offensichtlich wichtiger zu behalten. Dies variiert je nach Kontext und Anwendungsbereich. Für Factorys synchronisierte, chatbasierte Codierungssitzungen müssen beispielsweise folgende Informationen erhalten bleiben:

• Sitzungsabsicht: Was war das Ziel der Sitzung? Welche Anforderungen wurden geäußert?
• Hohe Übersicht: Eine Übersicht über die Schritte, die unternommen wurden, um das Ziel zu erreichen.
• Artefaktverlauf: Welche Dateien wurden erstellt, geändert oder gelöscht?
• Breadcrumbs: Referenzen zur Rekonstruktion des Kontexts für gekürzte Artefakte.

Proaktive Gedächtnisverwaltung

Die Kompressionsstrategie von Factory ist im Wesentlichen reaktiv. Zukünftige Modelle sollten jedoch in der Lage sein, proaktiv zu komprimieren, indem sie erkennen, wann und was zusammengefasst werden sollte. Dies könnte in mehreren Formen geschehen:

• Selbstgesteuerte Kompression: Agenten können natürliche Breakpoints in ihrer Arbeit erkennen und zusammenfassen.
• Strukturierte Arbeitsgedächtnisse: Agenten halten persistente, strukturierte Artefakte wie Aufgabenlisten oder Entscheidungsprotokolle.
• Sub-Agenten-Architekturen: Abrufagenten sammeln Eingaben, während übergeordnete Agenten nur die Endergebnisse behalten.

Diese Fähigkeiten existieren bereits in modernen KI-Systemen. Der Schlüssel liegt darin, sie als Teil einer umfassenderen Gedächtnisstrategie zu erkennen.

Fazit

Die Verwaltung des Kontexts in LLMs ist eine komplexe Herausforderung, die innovative Ansätze erfordert. Factorys Methoden zur Kontextkompression bieten vielversprechende Lösungen, um die Qualität der Inferenz zu verbessern und gleichzeitig die Kosten zu senken. Zukünftige Entwicklungen könnten die proaktive Gedächtnisverwaltung in den Vordergrund rücken, was zu noch effizienteren und leistungsfähigeren KI-Systemen führen könnte.

Quellenliste:

• Quelle: Compressing Context
• Strategies to Manage the Limited Context Windows in LLMs
• Factory AI Context Compression Techniques