Die Grenzen universeller LLM-Speichersysteme
In der Welt der Künstlichen Intelligenz (KI) und insbesondere bei großen Sprachmodellen (LLMs) wird oft von universellen Speichersystemen gesprochen, die das Potenzial haben, die Leistung von KI-Anwendungen erheblich zu steigern. Doch wie sich herausstellt, existiert ein solcher universeller Speicher nicht. In diesem Artikel beleuchten wir die Herausforderungen, die mit aktuellen LLM-Speichersystemen wie Mem0 und Zep verbunden sind, und analysieren die Ergebnisse von Benchmark-Tests, die deren tatsächliche Leistungsfähigkeit in der Praxis zeigen.
Die Idee eines universellen Speichersystems klingt verlockend: Ein System, das in der Lage ist, sowohl semantische als auch arbeitsbezogene Informationen effizient zu speichern und abzurufen. Doch die Realität sieht anders aus. In den letzten Wochen habe ich mich intensiv mit den Speichersystemen von LLMs beschäftigt und die Techniken untersucht, die sie verwenden. Bei Gesprächen mit Ingenieuren, die diese Systeme in der Produktion einsetzen, erhielt ich oft die gleiche Reaktion: “Es ist schwerfällig.” “Die Latenz ist katastrophal.” “In der Theorie großartig.”
Die Benchmark-Studie
Um die Diskrepanz zwischen den Erwartungen und der Realität zu verstehen, habe ich zwei der am meisten gehypten Systeme, Zep (Knowledge Graph) und Mem0 (Universal Memory), getestet. Ich verwendete MemBench, einen Benchmark, der 2025 entwickelt wurde, um reflektierende Gedächtnis- und Denkfähigkeiten zu testen. Die Ergebnisse waren ernüchternd.
Die Benchmark-Studie zeigte, dass die Speichersysteme von Mem0 und Zep nicht nur teurer waren, sondern auch eine signifikant niedrigere Genauigkeit aufwiesen im Vergleich zu einem naiven Langzeitkontext. Die Kosten für den Betrieb dieser Systeme lagen zwischen 14 und 77 Mal höher und die Genauigkeit war um 31 bis 33 % geringer als bei herkömmlichen Ansätzen.
Die Architektur der Systeme
Um die hohen Latenzzeiten und Kosten zu verstehen, müssen wir uns die Architektur dieser Systeme genauer ansehen. Beide Systeme, Mem0 und Zep, nutzen eine Methode, die ich als “LLM-on-Write” bezeichne. Sie interceptieren jede Nachricht und starten im Hintergrund mehrere LLM-Prozesse, um Bedeutungen zu extrahieren. Bei Mem0 beispielsweise werden drei parallele LLM-Prozesse für jede Interaktion gestartet:
- Aktualisierung einer Konversationszeitleiste zur Beibehaltung einer narrativen Zusammenfassung.
- Identifizierung von Fakten und Speicherung in einem Vektor-Speicher.
- Überprüfung auf Widersprüche und Aktualisierung oder Entfernung alter Fakten.
Im Fall von Zep wird ein Wissenstransfer durchgeführt, der nicht nur die Speicherung von Informationen umfasst, sondern auch eine Überprüfung auf Widersprüche in den gespeicherten Daten.
Die gemeinsamen Schwächen
Trotz ihrer Unterschiede teilen beide Systeme eine fatale architektonische Schwäche: die Abhängigkeit von der Fakt-Extraktion. Diese Systeme verlassen sich darauf, dass LLMs rohe Daten in “Fakten” umwandeln. Dies funktioniert gut für personalisierte Anwendungen, ist jedoch katastrophal für autonome Agenten, die auf präzise und zeitnahe Informationen angewiesen sind.
Ein weiteres Problem ist die nicht-deterministische Natur der extrahierenden LLMs. Sie könnten beispielsweise die Aussage “Ich war letztes Jahr krank” als “current_status: krank” umschreiben, was zu einer Korruption der Daten führt, bevor sie überhaupt in die Datenbank gelangen. Diese Art der Datenverarbeitung führt zu Halluzinationen, die nicht durch Optimierungen im Abrufprozess behoben werden können.
Die Kosten und Latenz
Die Latenz und die Kosten steigen exponentiell, je mehr LLM-Aufrufe in die Pipeline integriert werden. Für jede Nachricht, die gesendet wird, wird eine Kette von Hintergrundinferenzprozessen ausgelöst, die zusätzliche Kosten verursachen. Die Marketingstrategien der Anbieter konzentrieren sich oft auf die “Kosten pro Abruf”, während die tatsächlichen Kosten pro Konversation in der Praxis viel höher sind.
Fazit: Universeller Speicher existiert nicht
Die Schlussfolgerung aus meinen Experimenten ist klar: Universeller Speicher existiert nicht. Wir versuchen, zwei grundlegend unterschiedliche Probleme mit einem einzigen Werkzeug zu lösen. Semantischer Speicher ist für den Benutzer gedacht und verfolgt Präferenzen und langfristige Historien, während Arbeitsgedächtnis für Agenten gedacht ist und genaue, verlustfreie Informationen benötigt.
Die Verwendung eines semantischen Speichersystems für Arbeitsgedächtnisaufgaben ist nicht nur ein Kompromiss, sondern führt zu einer falschen Architektur. Es ist entscheidend, diese beiden Systeme als separate Einheiten mit unterschiedlichen Anforderungen zu betrachten.
Hinterlasse einen Kommentar
An der Diskussion beteiligen?Hinterlasse uns deinen Kommentar!