GOOGLE’S VEO FOR LIVE-ACTION VIDEOS
Google DeepMind hat in Zusammenarbeit mit Filmemachern den Kurzfilm “ANCESTRA” produziert, der Live-Action mit von Veo generierten Videos kombiniert. Dieser innovative Ansatz zeigt, wie generative KI die Grenzen des Geschichtenerzählens erweitern kann.
Einführung in ANCESTRA
Heute feiert Eliza McNitts Kurzfilm “ANCESTRA” Premiere beim Tribeca Festival. Die Geschichte handelt von einer Mutter und den Herausforderungen, die sie bewältigen muss, als ihr Kind mit einem Herzfehler geboren wird. Inspiriert von den dramatischen Ereignissen ihrer eigenen Geburt, zeigt der Film die Liebe einer Mutter als eine kosmische, lebensrettende Kraft.
Die Partnerschaft mit Primordial Soup
Der Film ist das erste von drei Projekten, die in Partnerschaft mit Primordial Soup, einem neuen Unternehmen für Storytelling-Innovation, das von Regisseur Darren Aronofsky gegründet wurde, entstanden sind. Diese Zusammenarbeit zielt darauf ab, die besten generativen KI-Technologien in die Hände von Top-Filmemachern zu legen und die Grenzen von Storytelling und Technologie zu erweitern.
Technologie hinter ANCESTRA
Um “ANCESTRA” zu erstellen, hat Google DeepMind ein multidisziplinäres Kreativteam aus Animatoren, Art-Direktoren, Designern, Schriftstellern, Technologen und Forschern zusammengestellt, das eng mit über 200 Experten aus der traditionellen Filmproduktion zusammenarbeitete. Die Kombination aus Live-Action-Szenen und von Veo generierten Sequenzen stellt eine neue Ära des Filmemachens dar.
Die Rolle von Veo
Veo, das hochmoderne Video-Generierungsmodell von Google DeepMind, spielte eine zentrale Rolle bei der Erstellung des Films. McNitt beschrieb ihre Erfahrung mit der Technologie:
„Veo ist ein weiteres Objektiv, durch das ich mir das Universum um mich herum vorstellen kann.”
Entwicklung neuer Veo-Funktionen
Um die Herausforderungen zu meistern, die sich aus der Kombination von Live-Action und generierten Inhalten ergaben, wurden neue Funktionen für Veo entwickelt. Diese ermöglichen eine größere Personalisierung, präzises Motion-Matching und die Fähigkeit, Live-Action mit generierten Inhalten zu mischen.
Der kreative Prozess
Der kreative Prozess für “ANCESTRA” umfasste mehrere Schritte:
- Gemini: Die Teammitglieder luden Fotos hoch, die McNitts Vater am Tag ihrer Geburt gemacht hatte, und baten Gemini, diese Fotos in präzisen ästhetischen Details zu beschreiben. Diese Beschreibungen dienten als Grundlage für die Erstellung neuer Bilder und Videos.
- Imagen: Dieses Modell wurde verwendet, um das Schlüsselkonzept des Films zu generieren und den allgemeinen Look, Stil und die Stimmung zu definieren.
- Veo: Mit Veo wurden die generierten Bilder animiert und zusätzliche Textaufforderungen verfasst, um die Action und Bewegung zu steuern und die finalen Aufnahmen zu erstellen.
Die Herausforderungen der Video-Generierung
Ein zentrales Anliegen von McNitt war es, dass die generierten Videos die Qualität und Farbgebung ihrer Live-Action-Szenen widerspiegeln. Um dies zu erreichen, wurde ein Imagen-Modell feinjustiert, um den Stil von Referenzbildern zu matchen. Die Herausforderung, realistische Bilder eines Babys im Mutterleib zu generieren, wurde durch präzise Steuerung der Kunstrichtung und Komposition gemeistert.
Motion Matching für präzise Kameraführung
In einer Szene wollte McNitt den Zuschauer auf eine Reise durch den menschlichen Körper mitnehmen. Um die präzise Kamerabewegung zu erreichen, wurde ein virtuelles 3D-Modell des menschlichen Körpers erstellt. Veo wurde dann verwendet, um die Bewegung des Entwurfs zu verfolgen und neue Videos zu generieren, die dieselbe Bewegung aufwiesen.
Die Verschmelzung von traditionellem Filmemachen und generativem Video
Die Kombination aus traditioneller VFX und generativem Video ermöglicht es, realistische Darstellungen zu erzeugen, ohne dass die Gefahr besteht, dass sie unheimlich wirken. Für die Geburtsszene wurde die Leistung des Schauspielers mit einem generierten Neugeborenen kombiniert, um eine nahtlose Integration zu gewährleisten.
Fazit: Die Zukunft des Geschichtenerzählens
“ANCESTRA” ist der erste von drei Filmen, die in der Partnerschaft zwischen Google DeepMind und Primordial Soup entstehen. Diese Zusammenarbeit zeigt, wie generative KI bestehende kreative und Produktionsabläufe ergänzen kann, um Filmemachern zu helfen, praktische Einschränkungen zu überwinden und Geschichten zu erzählen, die zuvor schwer oder teuer zu realisieren waren.
Hinterlasse einen Kommentar
An der Diskussion beteiligen?Hinterlasse uns deinen Kommentar!