Gemini 2.5: Fortschritte im Videoverständnis

Mit der Einführung von Gemini 2.5 Pro hat Google einen bedeutenden Fortschritt im Bereich des Videoverständnisses erzielt. Die neue Modellreihe hat sich in Benchmarks wie YouCook2 und QVHighlights als überlegen erwiesen und übertrifft dabei sogar GPT-4.1. Dies zeigt, dass Gemini 2.5 Pro nicht nur mit spezialisierten Modellen konkurrieren kann, sondern auch in der Lage ist, in vergleichbaren Testsituationen herausragende Leistungen zu erbringen.

Die neuen Modelle: Gemini 2.5 Pro und Flash

Die beiden neuen Modelle, Gemini 2.5 Pro und Gemini 2.5 Flash, markieren einen bedeutenden Fortschritt im Bereich des Videoverständnisses. Während Gemini 2.5 Pro Spitzenleistungen bei wichtigen Benchmarks erzielt, bietet Gemini 2.5 Flash eine kostengünstige Alternative für Anwendungen, bei denen Budgetrestriktionen eine Rolle spielen.

Leistungsbewertung von Gemini 2.5

Die Bewertung von Gemini 2.5 im Vergleich zu früheren Modellen erfolgt anhand verschiedener Kriterien. Dazu gehören die String-Match-Genauigkeit für Multiple-Choice-Video-QA, die LLM-basierte Genauigkeit für EgoTempo sowie R1@0.5 für QVHighlights und CIDEr für YouCook2. Die Videos wurden mit 1 fps verarbeitet und auf maximal 256 Frames linear unterteilt, was eine effiziente Analyse ermöglicht.

Multimodale Fähigkeiten von Gemini 2.5

Ein herausragendes Merkmal von Gemini 2.5 ist die Fähigkeit, audio-visuelle Informationen nahtlos mit Code und anderen Datenformaten zu kombinieren. Dies eröffnet neue Möglichkeiten für die Entwicklung interaktiver Anwendungen, die auf Videoanalysen basieren.

Interaktive Anwendungen mit Gemini 2.5 Pro

Ein Beispiel für die neuen Möglichkeiten ist die Video To Learning App, die mithilfe von Gemini 2.5 entwickelt wurde. Die App nutzt eine YouTube-URL und einen Textprompt, um das Video zu analysieren und eine detaillierte Spezifikation für eine Lernanwendung zu erstellen. Diese Spezifikation wird dann an Gemini 2.5 Pro zurückgesendet, um den Code für die Anwendung zu generieren.

Kreative Möglichkeiten mit P5.js

Ein weiteres spannendes Feature von Gemini 2.5 Pro ist die Fähigkeit, dynamische Animationen aus Videos zu generieren. Bei der Analyse eines Videos zu Project Astra konnte das Modell eine p5.js-Animation erstellen, die die verschiedenen im Video gesehenen Landmarken visualisiert.

Momentabfrage und zeitliche Logik

Die fortschrittlichen Fähigkeiten von Gemini 2.5 Pro ermöglichen es, spezifische Momente innerhalb von Videos mit einer höheren Genauigkeit zu identifizieren. So konnte das Modell beispielsweise in einem 10-minütigen Video 16 verschiedene Segmente im Zusammenhang mit Produktpräsentationen erkennen.

Darüber hinaus kann Gemini 2.5 Pro auch komplexe zeitliche Logikprobleme lösen, wie das Zählen von Ereignissen. In einem Beispiel konnte das Modell 17 verschiedene Vorkommen zählen, bei denen die Hauptfigur ihr Telefon benutzt.

Verfügbarkeit und Anwendungsmöglichkeiten

Die Videoverständnisfähigkeiten von Gemini 2.5 sind über Google AI Studio, die Gemini API und Vertex AI verfügbar. Dies ermöglicht Entwicklern, Anwendungen zu erstellen, die auf Milliarden von Videos zugreifen können. Die API bietet zudem eine ‘low’ Medienauflösungsparameter, der es Gemini 2.5 Pro ermöglicht, bis zu 6 Stunden Video mit 2 Millionen Token Kontext zu verarbeiten.

Wir sind gespannt auf die innovativen Videoanwendungen, die aus der Community entstehen werden, und freuen uns darauf zu sehen, was Sie entwickeln!

Quellenliste:

• Quelle: GEMINI 2.5 VIDEO UNDERSTANDING
• Gemini 2.5 Pro: Verbesserte Codierungsleistung
• Gemini 2.5 Flash: Vorschau