TimeScope: Benchmark für das Verständnis von langen Videos durch KI-Modelle

TimeScope ist ein neu entwickelter Benchmark, der darauf abzielt, die Fähigkeiten von Vision-Language-Modellen im Umgang mit langen Videos zu testen. In einer Zeit, in der multimodale KI-Systeme zunehmend in der Lage sind, komplexe Aufgaben zu bewältigen, stellt sich die Frage, ob diese Modelle tatsächlich in der Lage sind, die zeitlichen Zusammenhänge in Videos zu verstehen oder ob ihre Fähigkeiten überbewertet werden.

Die Entwicklung von TimeScope wurde notwendig, da viele der bestehenden Benchmarks, wie Video Needle in a Haystack (VideoNIAH), lediglich statische Bilder in Videos einfügen und somit die tatsächliche zeitliche Dynamik nicht erfassen. TimeScope hingegen verwendet kurze Videoausschnitte, die als „Nadeln“ in längeren Videos platziert werden, um die Modelle zu testen.

Warum TimeScope?

Die Vision von KI-Systemen, die lange Videos verstehen können, ist revolutionär. Solche Systeme könnten in der Lage sein, Stunden an Filmmaterial zusammenzufassen, subtile Anomalien zu erkennen und komplexe Fragen zu langen Erzählungen zu beantworten. In der Praxis jedoch zeigen viele Modelle, die behaupten, mit langen Videos umgehen zu können, erhebliche Leistungsabfälle, wenn sie mit längeren Eingaben konfrontiert werden.

Benchmark-Design

TimeScope nutzt die Idee, kurze Videoausschnitte als „Nadeln“ zu verwenden. Anstatt nur die Nadel zu erkennen, müssen die Modelle das gesamte Video verstehen. Ein langes Basisvideo (z. B. ein Dokumentarfilm oder eine Vorlesung) wird ausgewählt, und kurze Videoausschnitte werden an zufälligen Positionen eingefügt. Diese Nadeln enthalten die entscheidenden Informationen, die benötigt werden, um die Aufgaben zu lösen, und zwingen die Modelle, das gesamte Eingangsformat zu verarbeiten.

Aufgaben von TimeScope

• Lokalisierte Abfrage: Kann das Modell spezifische Informationen aus einem kurzen Segment innerhalb eines langen Videos abrufen?
• Informationssynthese: Kann es Details aus verschiedenen Punkten im Zeitverlauf sammeln und ordnen?
• Feingranulare zeitliche Wahrnehmung: Kann es Bewegungen und Ereignisse in den Nadeln analysieren, die eine dichte, mehrfache Bildaufnahme erfordern?

Evaluierung und Ergebnisse

In den ersten Tests von TimeScope wurden führende Vision-Language-Modelle evaluiert. Die Ergebnisse zeigen, dass selbst Modelle, die behaupten, lange Videos gut zu verarbeiten, bei echten Aufgaben zur langen Videoanalyse Schwierigkeiten haben. Die Evaluierungen haben klare Muster aufgezeigt, wie Leistungsabfälle bei bestimmten Längen auftreten und wo die Stärken und Schwächen der Modelle liegen.

Was haben wir gelernt?

Die Größe des Modells ist nicht alles. Modelle wie Qwen 2.5-VL zeigen ähnliche Leistungsprofile wie ihre kleineren Gegenstücke, was darauf hinweist, dass das bloße Skalieren der Parameter nicht automatisch eine bessere Leistung bei langen Videos garantiert. Das Modell Gemini 2.5-Pro hingegen hebt sich durch seine starke Genauigkeit bei Videos, die länger als eine Stunde sind, ab.

Fazit – Die Messlatte für lange Video-KI erhöhen

TimeScope zeigt, dass das Verständnis von „Stunden langen Videos“ noch mehr ein Slogan als Realität ist. Durch die Aufdeckung der Schwächen selbst bei den fortschrittlichsten Modellen in Bezug auf zeitliches Denken, Informationssynthese und Bewegungswahrnehmung lädt der Benchmark dazu ein, die Trainings- und Evaluationsmethoden für multimodale Systeme zu überdenken.

Quellenliste:

• Quelle: TIMESCOPE: HOW LONG CAN YOUR VIDEO LARGE MULTIMODAL MODEL GO?
• TimeScope Demo
• TimeScope Dataset
• Evaluation Framework: lmms-eval