OPENAI GUIDE TO A/B TESTING LLMS FÜR STARTUPS

HyperWrite’s Fallstudie demonstriert die Leistung von A/B-Tests für Modelle basierend auf tatsächlichen Zahlungsumsetzungen und nicht auf Offline-Benchmarkwerten.

Einführung

Die Auswahl des besten Modells hängt von Ihrem Geschäftsziel ab. Viele Startups wählen große Sprachmodelle (LLMs) basierend auf Offline-Bewertungen und öffentlichen Benchmarks. Ein Modell, das hohe Punktzahlen in einem Benchmark erzielt, führt jedoch nicht zwangsläufig dazu, dass Ihre Nutzer zahlen, abonnieren oder Ihr Produkt weiterhin nutzen. Modelle, die auf dem Papier stark wirken, können bei der Messung an tatsächlichen Geschäftsergebnissen unterperformen. Dieser Leitfaden beschreibt einen Bewertungsansatz, der auf einem der wichtigsten Geschäftsergebnisse für Startups basiert: ob Menschen bereit sind, für Ihr Produkt zu zahlen.

Voraussetzungen und Umfang

Um diesen Leitfaden auf Ihr Unternehmen anzuwenden, benötigen Sie:

• Ein Zahlungsabwickler. In diesem Beispiel verwenden wir Stripe, aber Sie können geringfügige Anpassungen vornehmen und denselben Ansatz mit jedem Zahlungsanbieter verwenden.
• Genug Nutzer, um ein signifikantes Signal zu erzeugen. Streben Sie an, mindestens eintausend Nutzer pro Testvariante zu haben. Für eine höhere statistische Signifikanz benötigen Sie mehr Nutzer.
• Ein KI-gestütztes Produkt mit einem Konversionsevent. Wir verwenden eine LLM-Anwendung, und unser Konversionsevent ist die Zahlung. Der gleiche Testansatz gilt für Apps, die auf Sprache, Video und anderen Modalitäten basieren.

Modellauswahl basierend auf Ihrem tatsächlichen Ziel

HyperWrite entwickelt KI-gestützte Schreibwerkzeuge und Forschungsassistenten. Das Hauptangebot des Unternehmens ist ein Schreibassistent mit fortschrittlichen Recherchefähigkeiten. Offline-Benchmarks sagten nicht voraus, was für HyperWrite am wichtigsten war: ob Nutzer mit dem Schreibassistenten interagierten, was sie dazu führte, zu abonnieren und das Produkt weiterhin zu nutzen. Das Team von HyperWrite konzentrierte sich auf das Ergebnis von Interesse – die Konversion – und begann, zwischen KI-Modellen basierend auf realen A/B-Tests zu wählen, die die Stripe-Konversionsraten verglichen.

Was für Startups zählt: Konversion

Bei vielen Startups ist es das Ziel, dass Nutzer sich anmelden und das Produkt weiterhin nutzen. Mit klassischem A/B-Testing, unter Verwendung der gleichen statistischen Methoden, auf die Wissenschaftler seit Jahrzehnten zurückgreifen, können Sie einen Modellauswertungsprozess entwerfen:

• Neue Nutzer werden in Chargen eingeteilt, und jede Charge erhält ein anderes KI-Modell.
• Um zu standardisieren, wann Nutzer eine Upgrade-Aufforderung erhalten, wird eine konsistente Rate-Limitierung angewendet, nachdem Nutzer dem Assistenten eine bestimmte Anzahl von Nachrichten gesendet haben – genug, um einen bedeutenden Upgrade-Moment zu schaffen.
• Die Konversion zu einem kostenpflichtigen Abonnement (über Stripe) wird für jede Gruppe verfolgt.

Wie man A/B-Tests durchführt, um ein Modell auszuwählen

A/B-Tests können als reales Bewertungsinstrument zur Modellauswahl dienen. Teilen Sie die Nutzer zufällig in Gruppen auf, geben Sie jeder Gruppe eine andere Erfahrung (hier ein anderes KI-Modell) und beobachten Sie, welche Gruppe bei der Schlüsselmetrik besser abschneidet – in diesem Fall die Stripe-Konversionen.

Die Grundlagen: Ein Modell gegen ein anderes

Ein Standard-Setup umfasst ein „Kontrollmodell“ (Ihr aktuelles Modell) und ein „Variant“ (einen Herausforderer). Nutzer werden zufällig einer der beiden Gruppen zugewiesen. Um sicherzustellen, dass der Test den Effekt des Modells isoliert, bleibt alles andere gleich: Onboarding, Funktionen, Aufforderungen und die Möglichkeit zur Konversion. Nach einem festgelegten Zeitraum oder einer bestimmten Anzahl von Nutzern werden die Konversionsraten verglichen: Haben mehr Menschen gezahlt, als sie Modell A oder Modell B verwendet haben?

Real-World-Beispiel: HyperWrites Modellaustausch-Test

Das Ziel von HyperWrite war es, ein kostengünstigeres LLM einzuführen, ohne die Monetarisierung wesentlich zu verringern. Dies war ein Nicht-Unterlegenheits-Szenario: Das Interesse bestand darin, sicherzustellen, dass das neue Modell nicht signifikant schlechter als das Kontrollmodell war. Mit Kosteneinsparungen im Hinterkopf wurde ein einseitiger Nicht-Unterlegenheits-Test entworfen.

• Testfokus: Kosteneinsparungen ohne Beeinträchtigung der Stripe-Konversion.
• Design: Einseitiger, zwei-proportionaler Z-Test (fokussiert darauf, ob das neue Modell schlechter ist).
• Alpha (Fehler 1. Art): 0,15 (d.h. 85% Vertrauen).
• Power: 0,60 (ausreichend, um bedeutende Rückgänge zu erfassen, ausgewogen gegen Verkehrsengpässe).
• Minimale nachweisbare Wirkung (MDE): Ein Rückgang von 30% bei der Konversion – jeder Rückgang unter diesem würde als „nahe genug“ betrachtet, wenn die Kosteneinsparungen dies rechtfertigten.
• Population: Ein Segment neuer Anmeldungen über einen definierten Zeitraum, randomisiert nach Nutzer-ID bei der Anmeldung.
• Trigger: Nutzer senden Nachrichten, erreichen eine Upgrade-Schranke und können über den Stripe-Checkout konvertieren.

Festlegung Ihrer Parameter: Was zählt als Gewinn?

Nicht jede beobachtete Differenz ist bedeutungsvoll – einige Unterschiede treten zufällig auf. A/B-Tests helfen, reale Effekte von zufälligem Rauschen zu trennen. Das häufig verwendete statistische Werkzeug hier ist der „zwei-proportionale Z-Test“, der überprüft, ob der Unterschied in den Konversionsraten zwischen zwei Gruppen groß genug ist, um als statistisch signifikant betrachtet zu werden.

Schlussfolgerung und nächste Schritte

Eine zentrale Lektion aus diesem Ansatz ist, dass reale Tests, die an Geschäftszahlen (wie Stripe-Konversionen) gebunden sind, aufdecken können, welche Modellentscheidungen tatsächlich Ergebnisse für Ihr Produkt liefern. Während Offline-Benchmarks und Labortests ihren Platz haben, führt die Verbindung der Bewertung mit dem Moment, in dem ein Nutzer bereit ist zu zahlen, oft zu Entscheidungen, die sowohl den Kunden als auch dem Unternehmen zugutekommen.

Was das für Startups bedeutet

Es ist nicht immer notwendig, Ihr bestehendes Modell zu übertreffen; ein Modell, das bei Ihrer Schlüsselmetrik zu geringeren Kosten „genauso gut“ abschneidet, kann wertvoll sein. In diesem Fall hat OpenAI’s GPT-4.1 die Stripe-Konversionsrate des Vorgängermodells gehalten, während es gleichzeitig Kosteneinsparungen erzielte.

Quellenliste:

• Quelle: OPENAI GUIDE TO A/B TESTING LLMS FOR STARTUPS
• How Not to Run an A/B Test