GLOBAL ILLUMINATION WITH RENDERFORMER

RenderFormer ist ein neuartiger neuronaler Renderer, der fotorealistische Bilder direkt aus dreiecksbasierten Szenenrepräsentationen erzeugt, ohne dass eine spezifische Schulung für jede Szene erforderlich ist. Diese innovative Technologie könnte die Art und Weise revolutionieren, wie wir 3D-Grafiken erstellen und rendern.

Einführung in RenderFormer

RenderFormer bietet eine neuartige Rendering-Pipeline, die es ermöglicht, Bilder direkt aus einer dreiecksbasierten Darstellung einer Szene zu rendern. Dies geschieht mit vollständigen globalen Beleuchtungseffekten und erfordert keine spezifische Schulung oder Feinabstimmung für jede Szene. Die Autoren, darunter Chong Zeng, Yue Dong, Pieter Peers, Hongzhi Wu und Xin Tong, präsentieren diese Technologie auf der SIGGRAPH 2025.

Von Mesh zu Bild: Ein End-to-End-Prozess

Anstatt einen physikzentrierten Ansatz für das Rendering zu verfolgen, formuliert RenderFormer das Rendering als eine Sequenz-zu-Sequenz-Transformation. Hierbei wird eine Sequenz von Token, die Dreiecke mit Reflexionseigenschaften repräsentieren, in eine Sequenz von Ausgabetoken umgewandelt, die kleine Pixelpatches darstellen.

Einfacher Transformer-Architektur mit minimalen Vorbedingungen

RenderFormer folgt einer zweistufigen Pipeline: Eine ansichtsunabhängige Phase, die den Lichttransport von Dreieck zu Dreieck modelliert, und eine ansichtabhängige Phase, die ein Token, das ein Bündel von Strahlen repräsentiert, in die entsprechenden Pixelwerte umwandelt. Beide Phasen basieren auf der Transformer-Architektur und werden mit minimalen Vorbedingungen erlernt. Es wird weder Rasterisierung noch Ray Tracing verwendet.

Rendering-Galerie

Die RenderFormer-Technologie zeigt beeindruckende Beispiele von Szenen, die unter verschiedenen Lichtbedingungen, Materialien und geometrischer Komplexität gerendert wurden, ohne dass eine spezifische Schulung oder Feinabstimmung erforderlich war. Zu den Referenzbildern gehören:

• Cornell Box – Quelle: Cornell University Program of Computer Graphics
• Stanford Bunny in Cornell Box – Quelle: Stanford University Computer Graphics Laboratory
• Lucy Statue – Quelle: Stanford University Computer Graphics Laboratory
• Utah Teapot – Quelle: University of Utah, Utah Model Repository
• Composed Scene – Quelle: Fausto Javier Da Rosa und Keenan Crane
• Crystals – Quelle: Mongze
• Fox in the Wild – Quelle: Vlad Zaichyk
• Horse and Heart – Quelle: Microsoft
• Interior Room – Quelle: Microsoft
• Shader Ball – Quelle: Wenzel Jakob
• Tree – Quelle: elbenZ

Videos und Animationen

RenderFormer bietet auch die Möglichkeit, Animationen von Szenen zu rendern. Zu den beeindruckenden Animationen gehören:

• Cascade Cube Animation – Quelle: Tycho Magnetic Anomaly
• Animated Crab – Quelle: Bohdan Lvov
• Gyroscope Motion – Quelle: reddification
• Animated Character – Quelle: mortaleiros

Physikalisch basierte Simulationen

RenderFormer kann auch physikalisch simulierte Szenen mit komplexen Dynamiken und Interaktionen rendern, wie zum Beispiel:

• Bowling Ball Physics Simulation – Quelle: SINOFWRATH

Fazit

RenderFormer stellt einen bedeutenden Fortschritt im Bereich des neuronalen Renderings dar. Die Möglichkeit, ohne spezifische Schulung für jede Szene fotorealistische Bilder zu erzeugen, könnte die Zukunft der 3D-Grafikgestaltung maßgeblich beeinflussen. Die vorgestellten Technologien und Beispiele zeigen das Potenzial von RenderFormer, sowohl in der Forschung als auch in der praktischen Anwendung.

Quellenliste:

• Quelle: RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination
• Chong Zeng
• Yue Dong
• Pieter Peers
• Hongzhi Wu
• Xin Tong