Die Notwendigkeit, Ihre Prompts neu zu überarbeiten

In der Welt der Künstlichen Intelligenz (KI) sind die verwendeten Modelle nicht perfekt austauschbar. Wenn Sie zwischen verschiedenen Modellen wechseln, sollten Sie Ihre Prompts überarbeiten. Das Anpassen von Prompts kann nicht nur Token sparen, sondern auch zu besseren Ergebnissen führen.

Einführung in das Prompt Engineering

Das Konzept des Prompt Engineering ist entscheidend für die Effektivität von KI-Modellen. Die Art und Weise, wie Fragen oder Anweisungen formuliert werden, hat einen direkten Einfluss auf die Qualität der Antworten, die ein Modell liefert. Verschiedene Modelle, wie OpenAI‘s GPT-4 und Anthropic‘s Claude, haben unterschiedliche Trainingsdaten und Architekturen, was zu variierenden Reaktionen auf dieselben Prompts führt.

Warum sollten Sie Ihre Prompts überarbeiten?

Es gibt mehrere Gründe, warum das Überarbeiten von Prompts unerlässlich ist:

1. Unterschiedliche Prompt-Formate

Ein frühes Beispiel, wo Unterschiede zwischen Modellen deutlich werden, ist die Verwendung von Markdown im Vergleich zu XML. Anecdotally waren OpenAI-Modelle (insbesondere ältere) hervorragend mit Markdown-Prompts. Dies ist nachvollziehbar, da es im Internet eine große Menge an Markdown gibt, was die Token-Anzahl nicht übersteigt und keine spezielle DSL erfordert. Als jedoch Claude 3.5 auf den Markt kam, verwendete Anthropic XML in ihrem System-Prompt. Der Versuch, denselben Prompt mit GPT-4 zu verwenden, führte nicht zu den gleichen Ergebnissen.

2. Positionsbias

Modelle behandeln nicht jeden Teil eines Prompts gleich, was als Positionsbias bekannt ist. Einige Modelle gewichten den Anfang eines Prompts stärker, während andere das Ende bevorzugen. Diese Unterschiede können sogar innerhalb desselben Modells je nach Eingabe variieren. Beispielsweise zeigte eine Studie, dass Qwen besser abschneidet, wenn relevante Kontexte am Ende stehen, während Llama das Gegenteil bevorzugt.

3. Modellbiases

Selbst wenn das Format und die Position korrekt sind, haben verschiedene Modelle unterschiedliche Biases. Diese Biases können sich auf subtile Weise in den Antworten und Entscheidungen der Modelle zeigen. Trainingdaten, Reinforcement Learning from Human Feedback (RLHF) und andere Anpassungen nach dem Training tragen zu diesem Verhalten bei. Es ist wichtig zu beachten, dass Sie oft gegen diese Biases anarbeiten müssen, was die Effizienz Ihrer Prompts beeinträchtigen kann.

4. Arbeiten Sie mit den Modellbiases, nicht dagegen

Ein weiterer wichtiger Punkt ist, dass Sie die Biases der Modelle nutzen sollten, anstatt gegen sie zu arbeiten. Der einzige Weg, die Defaults eines Modells zu verstehen, ist durch tatsächliche Nutzung und sorgfältige Überwachung. Wenn ein Modell bestimmte JSON-Felder ständig halluciniert, sollten Sie diese Felder unterstützen oder sogar fördern, anstatt zu versuchen, das Modell dagegen zu steuern.

Fazit

Zusammenfassend lässt sich sagen, dass Modelle derzeit nicht perfekt austauschbar sind. Prompts passen sich an Modelle an, ähnlich wie Modelle an Daten angepasst werden. Wenn Sie zwischen Modellen wechseln, sollten Sie Ihre Prompts überarbeiten, testen und evaluieren. Richten Sie sie nach den Defaults des neuen Modells aus, anstatt gegen sie zu arbeiten. So erzielen Sie die besten Ergebnisse.

Quellenliste:

• Quelle: YOU SHOULD BE REWRITING YOUR PROMPTS
• OpenAI’s GPT-5 Cookbook
• Anthropic Claude System Prompts
• Position of Uncertainty: A Cross-Linguistic Study of Position Bias in Large Language Models
• Beijing AI and Censors