Embodied Cognition Benchmarking mit ENACT

Die Evaluierung von embodied cognition ist ein bedeutendes Forschungsfeld in der Künstlichen Intelligenz und Robotik. Ein neues Benchmarking-Framework, das in diesem Bereich entwickelt wurde, ist ENACT, das die Fähigkeit von Modellen zur Interaktion mit der Welt aus einer egocentrischen Perspektive bewertet. In diesem Artikel werden wir die Grundlagen von ENACT, die verwendeten Datensätze, die wichtigsten Erkenntnisse und die Performance-Analyse verschiedener Modelle näher betrachten.

Was ist ENACT?

ENACT steht für „Evaluating Embodied Cognition with World Modeling of Egocentric Interaction“. Es wurde entwickelt, um die Fähigkeiten von Modellen zur embodied cognition zu bewerten, indem es die Interaktion in einer simulierten Umgebung aus der Sicht des Modells analysiert. Dies ermöglicht eine tiefere Einsicht in die Funktionsweise von KIs, die in der realen Welt agieren müssen.

Die Datensatzpipeline von ENACT

Ein herausragendes Merkmal von ENACT ist das einfache und skalierbare Design der Datensatzpipeline. Die Datensätze sind so konzipiert, dass sie eine Vielzahl von Aufgaben im Bereich des World Modeling abdecken. Dazu gehören sowohl Vorwärts- als auch Invers-World-Modeling-Aufgaben, die es ermöglichen, die Leistung von Modellen in unterschiedlichen Szenarien zu vergleichen.

Wichtige Erkenntnisse aus den Aufgaben

Die Forschung hat entscheidende Einblicke in die räumlichen Denkfähigkeiten von VLMs (Vision-Language Models) durch umfassende Vorwärts- und Invers-World-Modeling-Aufgaben ergeben. Einige der wichtigsten Erkenntnisse sind:

• Die Leistung auf der inversen Aufgabe war höher als auf der vorwärtsgerichteten Aufgabe, was auf eine stärkere sprachbasierte Retrospektion hinweist als auf eine handlungsbedingte visuelle Verarbeitung.
• Eine Abnahme der Leistung über längere Zeiträume zeigt, dass das interaktive räumliche Gedächtnis unter partieller Beobachtbarkeit begrenzt ist.
• Die Kluft zwischen Mensch und Modell verdeutlicht, dass aktuelle VLMs noch weit von robusten embodied world models in mobilen Manipulationsszenarien entfernt sind.

Leistungsanalyse der Modelle

Die Leistungsanalyse verschiedener Modelle auf dem ENACT-Benchmark zeigt signifikante Unterschiede in der Fähigkeit, Aufgaben erfolgreich zu bewältigen. Die Ergebnisse der Probing-Experimente mit Modellen wie GPT-5 und InternVL3.5 verdeutlichen die Stärken und Schwächen der aktuellen Technologien:

• Die Empfindlichkeit gegenüber Rendering-Variationen deutet auf Engpässe im mehrstufigen Interaktionsdenken hin, anstatt auf eine geringe Bildrealität.
• Die Leistung auf nicht-standardisierten Ansichten zeigt, dass VLMs tendenziell auf menschliche egocentrische Sichtweisen und Eigenschaften voreingenommen sind.
• Die Abhängigkeit von menschlichen visuellen Prioritäten schränkt die Generalisierbarkeit auf diverse robotische Erscheinungsformen mit nicht-standardisierten Optiken ein.

Anthropozentrische Verzerrungen in der visuellen Wahrnehmung

Ein weiteres zentrales Thema der ENACT-Forschung ist die anthropozentrische Verzerrung in der menschlichen Wahrnehmung. Die Ergebnisse zeigen, dass VLMs robust gegenüber Variationen im Erscheinungsbild von Embodiments sind, jedoch eine starke Rechts-Händigkeit aufweisen, die mit der menschlichen Händigkeit übereinstimmt.

Fazit

Die ENACT-Benchmarking-Plattform bietet wertvolle Einblicke in die Evaluierung von embodied cognition und stellt wichtige Fragen zur Leistungsfähigkeit von KI-Modellen in der realen Welt. Die Erkenntnisse aus den durchgeführten Studien sind entscheidend für die Weiterentwicklung von Technologien, die in der Lage sind, menschliche Interaktionen und Umgebungen besser zu verstehen und zu navigieren.

Quellenliste:

• Quelle: ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction
• arXiv Preprint: Evaluating Embodied Cognition
• ENACT Dataset auf Hugging Face