Scaling Vision Pre-Training auf 4K-Auflösung

Die neueste Entwicklung im Bereich der visuellen KI ist die Möglichkeit, Vision Pre-Training auf bis zu 4K-Auflösung zu skalieren. Dies wird durch das PS3-Modell ermöglicht, das eine effiziente visuelle Vorverarbeitung mit selektiver Kodierung bietet und die Grundlage für das VILA-HD-Modell bildet.

Einführung in PS3 und VILA-HD

Das PS3-Modell skaliert das CLIP-ähnliche Vision Pre-Training von 384 auf 4K Auflösung, ohne dass die Kosten signifikant steigen. VILA-HD ist ein hochmodernes MLLM (Multimodales Sprachmodell), das auf PS3 aufbaut und eine bessere Leistung und Effizienz als Qwen2-VL bei Bildern mit bis zu 4K-Auflösung erzielt.

Warum 4K-Auflösung?

Frühere Vision-Modelle wie CLIP und SigLIP wurden alle in niedrigen Auflösungen wie 384×384 vortrainiert. In realen Anwendungen müssen jedoch oft hochauflösende Bilder verarbeitet werden, wie zum Beispiel 4K-Bilder. Ein Beispiel hierfür ist die Erkennung von Stoppschildern beim Fahren, die eine 4K-Auflösung erfordert.

Die Vorteile des Pre-Trainings bei 4K-Auflösung

Obwohl frühere Methoden wie S2 und AnyRes hochauflösende Bilder verarbeiten können, ohne in hochauflösenden Auflösungen vortrainiert zu sein, zeigt sich, dass das Pre-Training auf hochauflösenden Bildern die Leistung verbessert. PS3, das auf 4K-Auflösung vortrainiert wurde, übertrifft deutlich Baseline-Modelle wie S2 und AnyRes.

Wie PS3 das Unmögliche möglich macht

Frühere Vision-Pre-Training-Modelle wie CLIP und SigLIP konnten nicht auf hohe Auflösungen skalieren, da dies zu teuer war. Das Vision-Modell muss das gesamte Bild kodieren, was mindestens quadratisch in Bezug auf die Rechenleistung ist. Bei hochauflösenden Bildern ist es jedoch oft nicht notwendig, das gesamte Bild zu betrachten. Stattdessen reicht es aus, lokale Regionen zu betrachten, um detaillierte Darstellungen hochauflösender Bilder zu lernen, ohne zusätzliche Kosten.

Schlüssel-Design: Lokalisierte hochauflösende Kodierung

Der Schlüssel zum Erfolg von PS3 ist die Fähigkeit, hochauflösende Regionen selektiv basierend auf einem Textprompt zu verarbeiten. Dies wird durch einen top-down (d.h. prompt-bewussten) Auswahlmechanismus erreicht, der es dem Modell ermöglicht, sich auf die relevantesten Regionen für einen gegebenen Textprompt zu konzentrieren.

VILA-HD: Effizientes und leistungsstarkes 4K-MLLM

VILA-HD wird mit PS3 als Vision-Encoder aufgebaut, der in der Lage ist, hochauflösende Bilder bis zu 4K x 4K effizient zu verarbeiten. VILA-HD verarbeitet hochauflösende Bilder, indem es zunächst die niedrigauflösenden Merkmale von PS3 und Texttokens aufnimmt und dann selektiv die hochauflösenden Regionen verarbeitet, die für den Textprompt relevant sind.

Überlegene Skalierungseigenschaften

VILA-HD mit PS3 zeigt interessante Skalierungseigenschaften. Wenn die Auflösung erhöht wird und alle Patches für jede Auflösung ausgewählt werden, zeigt VILA-HD mit PS3 eine bessere Skalierungskurve als Baselines ohne hochauflösendes Pre-Training.

Benchmarking 4K-Auflösungswahrnehmung mit 4KPro

Frühere Benchmarks erforderten keine 4K-Auflösungswahrnehmung, da die Fragen in diesen Benchmarks oft mit weniger als 1K-Auflösung beantwortet werden konnten. Um dem entgegenzuwirken, schlagen wir 4KPro vor, ein neues Benchmark, das strikt 4K-Auflösungswahrnehmung erfordert und Aufgaben in vier professionellen Bereichen umfasst: autonomes Fahren, Haushaltsanwendungen, Gaming und UI-Verständnis.

Fazit

VILA-HD mit PS3 zeigt nicht nur bessere Skalierungskurven als Baselines ohne hochauflösendes Pre-Training, sondern erreicht auch eine überlegene Leistung und Effizienz im Vergleich zu früheren MLLMs wie Qwen2-VL. Diese Fortschritte könnten die Art und Weise, wie wir visuelle KI in der Zukunft nutzen, revolutionieren.

Quellenliste:

• Quelle: SCALING VISION PRE-TRAINING TO 4K RESOLUTION
• Paper zu PS3
• VILA-HD Demo
• PS3 Code
• VILA-HD Code
• PS3 Weights
• VILA-HD Weights
• NVILA
• Qwen2-VL