Die Landschaft und Fortschritte der Vision Language Models

In den letzten Jahren haben sich Vision Language Models (VLMs) rasant weiterentwickelt, und Hugging Face hat die Fortschritte in diesem Bereich zusammengefasst. Die neuen Modelle sind kleiner, leistungsfähiger und in der Lage, komplexe Aufgaben wie das Verstehen von Videos und multimodale Agenten zu bewältigen.

In diesem Artikel werfen wir einen Blick auf die wichtigsten Entwicklungen im Bereich der VLMs, die im vergangenen Jahr stattgefunden haben, und beleuchten die neuen Trends, Modelle und Techniken.

Neue Modelltrends

Die Landschaft der VLMs hat sich erheblich verändert. Während einige Modelle völlig neu sind, sind andere verbesserte Versionen früherer Forschungen.

Any-to-Any-Modelle

Any-to-any-Modelle sind in der Lage, Eingaben aus verschiedenen Modalitäten (z. B. Bild, Text, Audio) zu verarbeiten und Ausgaben in jeder dieser Modalitäten zu erzeugen. Diese Modelle verwenden mehrere Encoder, um die Modalitäten zu alignieren und eine gemeinsame Repräsentationsraum zu schaffen. Ein Beispiel für ein solches Modell ist Chameleon von Meta, das Bilder und Texte verarbeiten kann.

Reasoning-Modelle

Reasoning-Modelle sind in der Lage, komplexe Probleme zu lösen. Ein Beispiel ist das QVQ-72B-preview-Modell von Qwen, das als eines der ersten offenen multimodalen Reasoning-Modelle gilt. Ein weiteres bemerkenswertes Modell ist Kimi-VL-A3B-Thinking von Moonshot AI, das über 16 Milliarden Parameter verfügt und in der Lage ist, lange Videos und PDFs zu verarbeiten.

Smol Yet Capable Models

Die Community hat begonnen, kleinere Modelle zu entwickeln, die dennoch leistungsfähig sind. SmolVLM ist ein Beispiel für solche Modelle, die weniger als 2 Milliarden Parameter haben und auf Consumer-GPUs betrieben werden können. Diese Modelle ermöglichen eine kostengünstige Ausführung und verbessern die Datensicherheit.

Mixture-of-Experts als Decoder

Mixture-of-Experts (MoEs) bieten eine dynamische Auswahl von Submodellen, die nur bei Bedarf aktiviert werden. Dies führt zu einer verbesserten Effizienz und Leistung, während die Rechenressourcen geschont werden. Modelle wie Kimi-VL und MoE-LLaVA zeigen vielversprechende Ergebnisse in diesem Bereich.

Vision Language Action Models

VLMs finden auch Anwendung in der Robotik, wo sie als Vision-Language-Action-Modelle (VLA) bekannt sind. Diese Modelle können Bilder und Textanweisungen verarbeiten und Aktionen für Roboter generieren. Beispiele sind π0 und GR00T N1 von NVIDIA, die in der Lage sind, komplexe Aufgaben in der realen Welt auszuführen.

Spezialisierte Fähigkeiten

VLMs ermöglichen die Generalisierung über traditionelle Computer Vision-Aufgaben. Modelle wie PaliGemma können Objekte erkennen, segmentieren und zählen, während multimodale Sicherheitsmodelle wie ShieldGemma 2 von Google dazu dienen, schädliche Inhalte zu filtern.

Multimodal RAG: Retriever und Reranker

Die Retrieval Augmented Generation (RAG) hat sich im multimodalen Bereich weiterentwickelt. Multimodale Retriever und Reranker verarbeiten Dokumente und geben die relevantesten Seiten zurück, um die Effizienz zu steigern und die Qualität der Antworten zu verbessern.

Multimodale Agenten

VLMs ermöglichen viele agentische Workflows, darunter die Interaktion mit Benutzeroberflächen. Modelle wie UI-TARS-1.5 von ByteDance zeigen bemerkenswerte Ergebnisse bei der Bedienung von Browsern und Spielen.

Video Language Models

Die neuesten VLMs können auch Videos verarbeiten, indem sie diese als Sequenzen von Frames darstellen. Modelle wie LongVU von Meta und Gemma 3 von Google haben innovative Ansätze entwickelt, um die Herausforderungen des Videoverständnisses zu meistern.

Neue Ausrichtungstechniken für Vision Language Models

Die Präferenzoptimierung ist ein neuer Ansatz zur Feinabstimmung von VLMs, der auf der Vergleichung und dem Ranking von Antworten basiert. Die trl-Bibliothek bietet Unterstützung für diese Technik.

Neue Benchmarks

Die Benchmarks für VLMs haben sich ebenfalls weiterentwickelt. MMT-Bench und MMMU-Pro sind zwei herausragende Benchmarks, die die Fähigkeiten von VLMs in verschiedenen multimodalen Aufgaben bewerten.

Fazit

Die Fortschritte im Bereich der Vision Language Models sind beeindruckend und zeigen, wie weit die Technologie gekommen ist. Die neuen Modelle und Techniken eröffnen zahlreiche Möglichkeiten für zukünftige Anwendungen in verschiedenen Bereichen.

Quellenliste:

• Quelle: Vision Language Models (Better, Faster, Stronger)
• VLMs: Ein Überblick
• SmolVLM: Klein, aber mächtig