Prompt Caching: 10x günstigere LLM-Token, aber wie?

Catched input tokens sind derzeit 10-mal günstiger als reguläre Input-Token für die APIs von OpenAI und Anthropic. Prompt Caching hat sich als eine bahnbrechende Technik etabliert, die nicht nur die Kosten für die Nutzung von Large Language Models (LLMs) senkt, sondern auch die Latenzzeiten erheblich reduziert. In diesem Artikel werden wir die Funktionsweise von Prompt Caching, seine Vorteile und die Unterschiede zwischen den Anbietern näher beleuchten.

Was ist Prompt Caching?

Prompt Caching ist ein Verfahren, bei dem die Eingabetokens, die an ein LLM gesendet werden, zwischengespeichert werden, um die Kosten und die Reaktionszeiten zu optimieren. Wenn ein Benutzer eine Anfrage stellt, werden die Tokens in einem Cache gespeichert. Bei wiederholten Anfragen mit denselben oder ähnlichen Tokens kann das Modell auf diese zwischengespeicherten Daten zurückgreifen, anstatt die Berechnungen von Grund auf neu durchzuführen.

Wie funktioniert Prompt Caching?

Die Funktionsweise von Prompt Caching beruht auf der Speicherung der K und V Matrizen, die während der Verarbeitung der Tokens erzeugt werden. Diese Matrizen repräsentieren die Beziehungen zwischen den Tokens und ermöglichen es dem Modell, die Berechnungen zu optimieren. Wenn ein neuer Token hinzugefügt wird, werden nur die neuen Berechnungen durchgeführt, während die bereits zwischengespeicherten Werte verwendet werden. Dies führt zu einer erheblichen Reduzierung der Rechenleistung und der Kosten.

Vorteile von Prompt Caching

• Kosteneffizienz: Die Nutzung von zwischengespeicherten Tokens ist deutlich günstiger, was die Gesamtkosten für die Nutzung von LLMs senkt.
• Reduzierte Latenz: Durch die Verwendung von zwischengespeicherten Daten kann die Zeit bis zur ersten Antwort erheblich verkürzt werden.
• Effizienzsteigerung: Die Notwendigkeit, wiederholte Berechnungen zu vermeiden, führt zu einer effizienteren Nutzung der Ressourcen.

Unterschiede zwischen Anbietern (OpenAI vs. Anthropic)

Die Ansätze von OpenAI und Anthropic in Bezug auf Prompt Caching unterscheiden sich erheblich. OpenAI bietet eine automatisierte Lösung, die es den Nutzern ermöglicht, Anfragen an zwischengespeicherte Einträge zu leiten. In meinen Tests konnte ich eine Trefferquote von etwa 50 % erzielen, was bedeutet, dass die Nutzung des Caches nicht immer garantiert ist.

Im Gegensatz dazu gibt Anthropic den Nutzern mehr Kontrolle über den Cache. Sie können entscheiden, wann und wie lange sie einen Prompt cachen möchten. In meinen Experimenten konnte ich feststellen, dass Anthropic bei der Verwendung von Caching eine Trefferquote von 100 % bietet, was sie zu einer besseren Wahl für Anwendungen mit langen Kontextfenstern macht.

Fazit und Ausblick

Prompt Caching ist eine innovative Technik, die die Nutzung von LLMs revolutioniert. Die Möglichkeit, Kosten zu sparen und die Latenzzeiten zu reduzieren, macht diese Technologie für Entwickler und Unternehmen äußerst attraktiv. In Zukunft könnten wir weitere Entwicklungen in diesem Bereich erwarten, die die Effizienz und Benutzerfreundlichkeit von LLMs weiter verbessern werden.

Quellenliste:

• Quelle: Prompt Caching: 10x cheaper LLM tokens, but how?
• Prompt Caching bei Anthropic
• OpenAI Dokumentation zu Prompt Caching