CHARACTER KI Echtzeit-Video-Generierung

Character.AI hat mit TalkingMachines ein bahnbrechendes Modell zur Echtzeit-Video-Generierung vorgestellt, das auf Audio basiert. Mit nur einem Bild und einem Sprachsignal kann das Modell interaktive, FaceTime-ähnliche Animationen von Charakteren erzeugen, die in verschiedenen Stilen, Genres und Identitäten kommunizieren.

Die Technologie basiert auf einem autoregressiven Diffusionsmodell, das es ermöglicht, dass Charaktere in Echtzeit miteinander sprechen. Dies ist ein bedeutender Schritt in Richtung der Zukunft der Unterhaltung, in der immersive, KI-gestützte visuelle Interaktionen und animierte, reaktive Charaktere möglich sind.

Wie es funktioniert

Die Technologie nutzt die Leistungsfähigkeit des Diffusion Transformer (DiT) und eine Technik namens asymmetrische Wissensdistillation, um ein qualitativ hochwertiges, bidirektionales Videomodell in einen schnellen Echtzeit-Generator umzuwandeln. Das Modell hört auf Audio und animiert einen Charakter – Mund, Kopf, Augen – synchron mit jedem Wort, jeder Pause und Intonation. Dabei wird die Konsistenz, Bildqualität, Stiltreue und Ausdruckskraft nicht beeinträchtigt.

Hier sind einige der Schlüsseltechnologien, die verwendet werden:

• Flow-Matched Diffusion: Das Modell ist vortrainiert, um komplexe Bewegungsmuster zu handhaben, von subtilen Gesichtsausdrücken bis hin zu dynamischen Gesten.
• Audio-Driven Cross Attention: Ein maßgeschneidertes 1,2 Milliarden Parameter umfassendes Audiomodul ermöglicht es dem Modell, eine feingliedrige Ausrichtung zwischen Klang und Bewegung zu lernen.
• Sparse Causal Attention: Im Gegensatz zu herkömmlichen Modellen, die auf teure bidirektionale, dichte Aufmerksamkeit angewiesen sind, betrachtet unser autoregressives Design nur die relevantesten vorherigen Frames.
• Asymmetrische Distillation: Mit unserem modifizierten CausVid-Ansatz trainieren wir ein schnelles, zweistufiges Diffusionsmodell, das ein langsames, qualitativ hochwertiges Lehrermodell imitiert.

Warum es wichtig ist

Dieser Forschungsdurchbruch ist nicht nur auf die Gesichtsanimation beschränkt. Er ist ein grundlegender Schritt in Richtung interaktiver audiovisueller KI-Charaktere. Dies bringt uns näher an eine Zukunft, in der man in Echtzeit mit Charakteren interagieren kann.

Das bedeutet:

• Unterstützung einer breiten Palette von Stilen, von fotorealistischen Menschen bis hin zu Anime und 3D-Avataren.
• Ermöglichung von Streaming mit natürlichen Hör- und Sprechphasen.
• Aufbau der Kerninfrastruktur für Rollenspiele, Geschichtenerzählen und interaktives Weltenbauen.

Fortschritte an der Front

Diese Forschung verbessert den Stand der Technik in mehreren Aspekten:

• Echtzeit-Generierung: Keine vorgerenderten Videoschnipsel mehr – dieses System generiert alles live, Frame für Frame.
• Effiziente Distillation: Nur zwei Diffusionsschritte sind für die Generierung erforderlich, ohne perceptuellen Verlust.
• Hohe Skalierbarkeit: Das System läuft in Echtzeit auf nur zwei GPUs.
• Multisprecher-Unterstützung: Unser Mechanismus zur Erkennung von Sprechen/Stille ermöglicht nahtloses Abwechseln zwischen Charakteren.

Für die Zukunft gebaut

Wir arbeiten aktiv daran, diese Forschung in die Character.AI-Plattform zu integrieren, wo sie eines Tages FaceTime-ähnliche Erlebnisse, Charakter-Streaming und visuelles Weltenbauen ermöglichen wird. Während dies noch kein Produktlaunch ist, markiert es einen wichtigen Meilenstein in unserem Forschungsfahrplan.

Von der Forschung zur Realität

Wir haben tief in die Trainingsinfrastruktur, Distillationsmethoden und Systemdesign investiert, um diese Forschung zur Realität zu machen. Unser Forschungsteam hat dieses Modell mit über 1,5 Millionen kuratierten Videoclips trainiert und eine dreistufige Trainingspipeline genutzt.

Möchten Sie mehr erfahren? Hier sind einige nützliche Links:

• Lesen Sie das vollständige Papier
• Sehen Sie sich Beispiel-Demos an

Quellenliste:

• Quelle: CHARACTER.AI’S REAL-TIME VIDEO GENERATION
• TalkingMachines: A Real-Time Video Generation Model
• TalkingMachines Demos