Benchmarking Audio-Visual QA mit Daily-Omni

Daily-Omni ist ein neuartiger Benchmark und ein trainingsfreier Agent, der zur Evaluierung von Modellen in Aufgaben dient, die ein synchronisiertes audio-visuelles Verständnis erfordern. In diesem Artikel werden die wesentlichen Aspekte von Daily-Omni und dessen Bedeutung für die Forschung im Bereich der künstlichen Intelligenz und multimodalen Modelle beleuchtet.

Einführung in Daily-Omni

Die Entwicklung von Multimodalen Großen Sprachmodellen (MLLMs) hat in den letzten Jahren bemerkenswerte Fortschritte gemacht. Diese Modelle zeigen vielversprechende Leistungen bei der Verarbeitung von visuellen und auditiven Benchmarks, jedoch bleibt ihre Fähigkeit, Informationen aus verschiedenen Modalitäten synchron zu verarbeiten, weitgehend unerforscht. Daily-Omni zielt darauf ab, diese Lücke zu schließen.

Der Daily-Omni Benchmark

Daily-Omni umfasst eine Sammlung von 684 Videos aus alltäglichen Szenarien, die aus verschiedenen Quellen stammen und reich an audio-visuellen Informationen sind. Diese Videos sind mit 1197 Multiple-Choice-Fragen ausgestattet, die sich über sechs Hauptaufgaben erstrecken. Der Benchmark ermöglicht es Forschern, die Leistungsfähigkeit ihrer Modelle in realistischen, komplexen Situationen zu testen.

QA-Generierungspipeline

Ein weiterer innovativer Aspekt von Daily-Omni ist die QA-Generierungspipeline. Diese Pipeline umfasst automatische Annotationen, die Generierung von Fragen und Antworten sowie deren Optimierung. Dadurch wird die Effizienz der menschlichen Evaluierung erheblich verbessert und die Skalierbarkeit des Benchmarks erhöht.

Daily-Omni-Agent

Der Daily-Omni-Agent ist ein trainingsfreier Agent, der auf offenen Modellen wie dem Visual Language Model (VLM), dem Audio Language Model (ALM) und einem Automatic Speech Recognition (ASR) Modell basiert. Dieser Agent dient als Basislinie für den Benchmark und zeigt, dass aktuelle MLLMs erhebliche Schwierigkeiten bei Aufgaben haben, die eine Integration von Audio und Video erfordern. Durch die Kombination von VLMs und ALMs mit einfachen zeitlichen Abstimmungstechniken kann jedoch eine deutlich bessere Leistung erzielt werden.

Fazit

Daily-Omni stellt einen bedeutenden Fortschritt in der Evaluierung von Modellen dar, die in der Lage sein müssen, audio-visuelle Informationen zu verarbeiten. Die Ergebnisse zeigen, dass es noch viel zu tun gibt, um die Integration dieser Modalitäten zu verbessern. Die Bereitstellung von Codes und Benchmarks auf GitHub ermöglicht es der Forschungsgemeinschaft, auf diesen Fortschritten aufzubauen und die Entwicklung von MLLMs weiter voranzutreiben.

Quellenliste:

• Quelle: Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities
• Daily-Omni GitHub Repository