Batch Mode in der Gemini API: Mehr verarbeiten für weniger

Die Gemini API hat einen neuen Batch-Modus eingeführt, der es Nutzern ermöglicht, große Jobs asynchron zu verarbeiten. Diese Funktion ist besonders vorteilhaft für Entwickler und Unternehmen, die hohe Durchsatzraten benötigen, ohne auf sofortige Antworten angewiesen zu sein.

Der Batch-Modus erlaubt es den Nutzern, umfangreiche Datenmengen zu verarbeiten und die Ergebnisse innerhalb von 24 Stunden zu erhalten. Dies geschieht zu einem Preis, der 50 % günstiger ist als bei den synchronen APIs.

Einführung in den Batch-Modus

Der Batch-Modus ist ein asynchroner Endpunkt, der speziell für nicht latenzkritische Arbeitslasten entwickelt wurde. Er ermöglicht es Nutzern, große Jobs einzureichen, die Planung und Verarbeitung auszulagern und die Ergebnisse innerhalb eines festgelegten Zeitrahmens abzurufen.

Vorteile des Batch-Modus

• Kosteneinsparungen: Batch-Jobs kosten 50 % weniger als die Standardpreise für ein bestimmtes Modell.
• Höhere Durchsatzraten: Der Batch-Modus hat höhere Ratenlimits, was bedeutet, dass mehr Anfragen gleichzeitig verarbeitet werden können.
• Einfache API-Aufrufe: Es ist keine komplexe clientseitige Warteschlangen- oder Wiederholungslogik erforderlich. Verfügbare Ergebnisse werden innerhalb eines 24-Stunden-Fensters zurückgegeben.

Ein einfacher Workflow für große Jobs

Die API wurde so gestaltet, dass sie einfach und intuitiv zu bedienen ist. Nutzer können alle Anfragen in einer einzigen Datei bündeln, diese einreichen und die Ergebnisse abrufen, sobald der Job abgeschlossen ist.

Anwendungsbeispiele

Hier sind einige Möglichkeiten, wie Entwickler den Batch-Modus heute nutzen:

• Bulk-Inhaltsgenerierung und -verarbeitung: Reforged Labs, spezialisiert auf tiefes Videoverständnis, nutzt Gemini 2.5 Pro, um monatlich große Mengen von Videoanzeigen zu analysieren und zu kennzeichnen. Die Implementierung des Batch-Modus hat ihre Abläufe revolutioniert, indem sie die Kosten erheblich gesenkt und die Lieferzeiten für Kunden beschleunigt hat.
• Modellbewertungen: Vals AI benchmarkt Grundmodelle in realen Anwendungsfällen, darunter Recht, Finanzen, Steuern und Gesundheitswesen. Sie nutzen den Batch-Modus, um große Mengen von Bewertungsanfragen einzureichen, ohne durch Ratenlimits eingeschränkt zu sein.

Einfacher Einstieg mit wenigen Zeilen Code

Der Einstieg in den Batch-Modus ist einfach. Hier ein Beispiel, wie man ihn mit dem Google GenAI Python SDK nutzen kann:

# Erstellen Sie eine JSONL-Datei mit diesen Zeilen:
# {"key": "request_1", "request": {"contents": [{"parts": [{"text": "Erklären Sie, wie KI in wenigen Worten funktioniert"}]}]}} 
# {"key": "request_2", "request": {"contents": [{"parts": [{"text": "Erklären Sie, wie Quantencomputing in wenigen Worten funktioniert"}]}]}}

uploaded_batch_requests = client.files.upload(file="batch_requests.json")
batch_job = client.batches.create(
    model="gemini-2.5-flash",
    src=uploaded_batch_requests.name,
    config={
        'display_name': "batch_job-1",
    },
)
print(f"Batch-Job erstellt: {batch_job.name}")

# Warten Sie bis zu 24 Stunden
if batch_job.state.name == 'JOB_STATE_SUCCEEDED':
    result_file_name = batch_job.dest.file_name
    file_content_bytes = client.files.download(file=result_file_name)
    file_content = file_content_bytes.decode('utf-8')
    for line in file_content.splitlines():
        print(line)

Um mehr zu erfahren, besuchen Sie die offiziellen Dokumentations- und Preisseiten:

• Dokumentation
• Kochbuch
• Preise

Wir führen den Batch-Modus für die Gemini API heute und morgen für alle Nutzer ein. Dies ist erst der Anfang für die Batch-Verarbeitung, und wir arbeiten aktiv daran, die Funktionen weiter auszubauen. Bleiben Sie dran für leistungsstärkere und flexiblere Optionen!

Quellenliste:

• Quelle: Batch Mode in the Gemini API: Process More for Less
• Batch Mode Dokumentation
• Reforged Labs
• Vals AI