Ming-UniVision: Ein einheitliches Modell für Bildverständnis und -generierung

Ming-UniVision ist ein autoregressives Vision-Language-Modell, das auf MingTok, einem visuellen Tokenizer, basiert. Dieses innovative Modell vereint Bildverständnis und -generierung in einem einheitlichen kontinuierlichen latenten Raum und stellt damit einen bedeutenden Fortschritt in der multimodalen KI dar.

Technische Highlights

Die wichtigsten Merkmale von Ming-UniVision sind:

• Erster kontinuierlicher einheitlicher Tokenizer für Vision: MingTok unterstützt nahtlos sowohl das Bildverständnis als auch die -generierung innerhalb eines einzigen kontinuierlichen latenten Raums, wodurch Quantisierungsfehler vermieden werden.
• Erstes NTP-Stil autoregressives MLLM mit einheitlichen kontinuierlichen visuellen Tokens: Durch die Verwendung von MingTok wird Vision und Sprache unter einem gemeinsamen Next-Token-Vorhersagerahmen vereinigt, was eine end-to-end autoregressive Modellierung verschiedener visueller Aufgaben ermöglicht.
• Reduzierter repräsentationaler Wettbewerb: Die einheitliche kontinuierliche Darstellung sorgt für eine signifikante Beschleunigung des gemeinsamen Trainings ohne Leistungseinbußen.
• Multi-Round In-Context Learning: Alle Operationen – Verständnis, Generierung und Bearbeitung – erfolgen im gleichen kontinuierlichen Raum, was kostspielige Kreuzraumkonversionen eliminiert und ein einfacheres, effizienteres Training und eine effizientere Inferenz ermöglicht.

Die Herausforderung: Das inverse Wesen des Sehens und Zeichnens

Autoregression ist ein kraftvolles Paradigma zur Modellierung der Welt durch das Vorhersagen des nächsten Tokens. Die nächste Grenze besteht darin, das visuelle Verständnis (Sehen) und die visuelle Generierung (Zeichnen) in dieses einheitliche sequenzielle Rahmenwerk zu bringen. Diese Ambition steht jedoch vor einer tiefen Herausforderung: In vielerlei Hinsicht sind Verständnis und Generierung inverse Aufgaben.

Warum frühere Ansätze scheiterten

Bestehende Modelle versuchen die Vereinheitlichung durch zwei eingeschränkte Strategien:

• Asymmetrische Designs: Verwendung unterschiedlicher, heterogener Merkmalsräume für jede Aufgabe, was ineffiziente “Rundreisen” zwischen den Räumen erfordert.
• Gemeinsame diskrete Tokens: Vereinheitlichung des Tokenraums, jedoch mit Quantisierungsfehlern, die die Bildqualität beeinträchtigen.

Unsere Lösung: Ming-UniVision und MingTok

Um diese Sackgasse zu durchbrechen, stellen wir Ming-UniVision vor, ein neues autoregressives Vision-Language-Modell, das auf einer grundlegenden Innovation basiert: MingTok. MingTok ist der erste visuelle Tokenizer, der auf einem kontinuierlichen latenten Raum basiert und eine wirklich einheitliche und effiziente Darstellung bietet.

Das Kern-Design: Eine dreistufige Architektur zur Versöhnung von Wettbewerb

Im Herzen von Ming-UniVision steht der MingTok Tokenizer, eine dreistufige Architektur, die elegant gestaltet ist, um die konkurrierenden repräsentationalen Anforderungen von Verständnis und Generierung innerhalb eines einzigen Rahmens zu versöhnen.

Der Durchbruch: Ein fundamentaler Sprung in der Effizienz

Durch die Integration von MingTok erreicht Ming-UniVision wettbewerbsfähige Ergebnisse sowohl bei Verständnis- als auch bei Generierungsaufgaben. Der gemeinsame kontinuierliche latente Raum eröffnet zwei fundamentale Effizienzschichten, die Engpässe lösen, die frühere Architekturen geplagt haben.

Fazit und der Weg nach vorne

Wir glauben, dass eine einheitliche und kontinuierliche visuelle Darstellung wie MingTok neue Möglichkeiten für den Aufbau flexibler und intuitiver multimodaler interaktiver Systeme eröffnet. Wir haben unseren Code und die ersten Modellgewichte open-source zur Verfügung gestellt, um der Gemeinschaft eine nützliche Grundlage zu bieten und mehr Diskussionen über einheitliche Darstellungen zu inspirieren.

Quellenliste:

• Quelle: Ming-UniVision: Joint Image Understanding and Generation via a Unified Continuous Tokenizer
• Ming-UniVision auf GitHub
• Ming-UniVision auf Hugging Face
• Ming-UniVision auf ModelScope