ALPHAWRITE: Inferenzzeit-Compute-Skalierung für kreatives Schreiben

AlphaWrite generiert Varianten von Geschichten mit unterschiedlichen Autorstilen und Themen, nutzt paarweise Vergleiche zur Qualitätsbewertung und entwickelt die besten Ergebnisse über mehrere Generationen weiter. Dies zeigt, dass kreative Aufgaben von systematischer Inferenzzeit-Compute-Skalierung profitieren können, über die Bereiche Mathematik und Programmierung hinaus.

Einführung in AlphaWrite

In den letzten Jahren haben große Sprachmodelle bemerkenswerte Leistungssteigerungen durch erhöhtes Inferenzzeit-Compute erzielt, insbesondere in den Bereichen Mathematik und Programmierung. Im kreativen Bereich, wo die Ausgaben von Natur aus hochgradig subjektiv und schwer zu bewerten sind, wurde jedoch nur begrenzt erforscht, wie man systematische Ansätze zur effektiven Skalierung von Inferenzzeit-Compute nutzen kann.

In dieser Arbeit stellen wir AlphaWrite vor, ein neuartiges Framework zur Skalierung von Inferenzzeit-Compute in der kreativen Textgenerierung. Inspiriert von AlphaEvolve und anderen evolutionären Algorithmen kombiniert unser Ansatz iterative Geschichtenerstellung mit einer Elo-basierten Bewertung, um die narrative Qualität systematisch zu verbessern. Anstatt sich auf einmalige Generierungen oder einfache Resampling-Techniken zu verlassen, schafft AlphaWrite ein dynamisches Ökosystem, in dem Geschichten konkurrieren, sich entwickeln und über mehrere Generationen hinweg verbessern.

Methodologie

AlphaWrite verwendet einen evolutionären Ansatz zur Verbesserung der Geschichtqualität durch iterative Generierung und Auswahl. Der Prozess besteht aus vier Hauptphasen:

1. Diverse initiale Geschichtsgenerierung
2. Paarweise Vergleiche unter Verwendung von Elo-Rankings
3. Evolutionäre Verfeinerung der leistungsstärksten Geschichten
4. Wiederholung der Schritte 2 und 3 über mehrere Generationen

Initiale Geschichtsgenerierung

Um eine vielfältige Ausgangspopulation zu schaffen, generieren wir einen großen Korpus von Anfangsgeschichten mit systematischer Variation. Jede Geschichte wird mit zwei randomisierten Parametern generiert:

• Autorstil: Das Modell wird aufgefordert, im Stil verschiedener Autoren zu schreiben.
• Thema: Jede Generation konzentriert sich auf ein anderes narratives Thema.

Bewertung und Elo-Ranking

Die Geschichten werden durch paarweise Vergleiche mithilfe eines LLM-Richters bewertet. Der Richter erhält:

• Ein detailliertes Bewertungsraster, das sich auf Metriken der narrativen Qualität konzentriert.
• Zwei Geschichten zum Vergleich.
• Anweisungen zur Auswahl der überlegenen Geschichte.

Das Raster verbessert die Konsistenz der Urteile, indem es klare Bewertungskriterien bereitstellt. Basierend auf diesen paarweisen Vergleichen aktualisieren wir die Elo-Bewertungen jeder Geschichte, wodurch ein dynamisches Rankingsystem entsteht, das relative Qualitätsunterschiede erfasst.

Geschichtsevolution

Nachdem die Rankings durch paarweise Vergleiche festgelegt wurden, implementieren wir einen evolutionären Prozess zur iterativen Verbesserung der Geschichtqualität:

1. Auswahl: Auswahl der leistungsstärksten Geschichten als Grundlage für die nächste Generation.
2. Variationsgenerierung: Generierung von Varianten unter Verwendung zufällig ausgewählter Verbesserungsziele (z. B. narrative Struktur, Charakterentwicklung, emotionale Resonanz).
3. Populationsaktualisierung: Beibehaltung der Hochleistungs-Geschichten und Ersetzung der niedrigeren Ranggeschichten durch Varianten.
4. Neu-Ranking: Frische paarweise Vergleiche in der aktualisierten Population.
5. Iteration: Wiederholung über Generationen, um erfolgreiche Elemente zu propagieren.

Bewertungsprotokoll

Die Bewertung kreativer Ausgaben stellt erhebliche Herausforderungen dar, da sie von subjektiven Vorlieben und einer hohen Variabilität des Geschichtsinhalts geprägt ist. Unser Bewertungsansatz umfasst:

• Modellauswahl: Fokussierung auf kleinere Modelle, bei denen Verbesserungen deutlicher ausgeprägt sind.
• Geschichtenlänge: Beschränkung auf Geschichten unter 500 Wörtern, um den Vergleich zu erleichtern.
• Prompt-Design: Verwendung offener Prompts, um den Modellen die Möglichkeit zu geben, ihre Fähigkeiten zur Geschichtenerstellung zu demonstrieren.
• Datenkollektion: 120 Präferenzvergleiche pro Experiment zur Feststellung statistischer Signifikanz.
• Bewertungsprotokoll: Die Bewerter verwenden dasselbe Raster, das wir für den LLM-Richter verwenden, um zu bewerten, welche der beiden Antworten sie bevorzugen.

Ergebnisse

Für die Bewertung verwendeten wir Llama 3.1 8B und generierten 60 anfängliche Geschichten, wählten die fünf besten Performer aus und erstellten fünf Varianten jeder Geschichte. Dieser Evolutionsprozess wurde über fünf Generationen wiederholt. AlphaWrite zeigt erhebliche Verbesserungen in der Geschichtqualität, wenn sie durch paarweise menschliche Präferenzen bewertet wird. Die Tests mit Llama 3.1 8B ergaben:

• 72 % Präferenzrate gegenüber den anfänglichen Geschichtsgenerationen (95 % CI 63 % – 79 %).
• 62 % Präferenzrate gegenüber der sequentiellen Prompting-Basislinie (95 % CI 53 % – 70 %).

Fazit

AlphaWrite demonstriert, dass kreative Aufgaben von systematischer Inferenzzeit-Compute-Skalierung durch evolutionäre Ansätze profitieren können. Unsere Ergebnisse zeigen konsistente Verbesserungen gegenüber sowohl der Baseline-Generierung als auch den Methoden des sequentiellen Promptings.

Quellenliste:

• Quelle: AlphaWrite: Inference Time Compute Scaling for Writing
• AlphaWrite auf GitHub