Gemini Robotics 1.5 bringt KI-Agenten in die physische Welt

Google DeepMind hat mit der Veröffentlichung von Gemini Robotics 1.5 und Gemini Robotics-ER 1.5 zwei bahnbrechende Modelle vorgestellt, die agentische Erfahrungen mit fortschrittlichem Denken ermöglichen. Diese Modelle kombinieren visuelle Informationen mit motorischen Befehlen, um komplexe Aufgaben in der physischen Welt zu bewältigen.

Einführung in Gemini Robotics

Die Entwicklung von Robotern, die in der Lage sind, ihre Umgebung zu verstehen und darauf zu reagieren, hat in den letzten Jahren erhebliche Fortschritte gemacht. Gemini Robotics 1.5 ist ein vision-language-action Modell, das visuelle Informationen und Anweisungen in motorische Befehle umwandelt, um Aufgaben auszuführen. Dieses Modell denkt, bevor es handelt, und zeigt seinen Prozess, was es Robotern ermöglicht, komplexe Aufgaben transparenter zu bewerten und abzuschließen.

Die Funktionsweise der Modelle

Die beiden neuen Modelle von Google DeepMind arbeiten zusammen, um agentische Erfahrungen zu ermöglichen:

• Gemini Robotics 1.5: Dieses Modell ist das leistungsfähigste seiner Art und wandelt visuelle Informationen in motorische Befehle um. Es kann komplexe Aufgaben durch einen internen Denkprozess analysieren und ausführen.
• Gemini Robotics-ER 1.5: Dieses Modell ist auf die physische Welt optimiert und kann digitale Werkzeuge nativ aufrufen sowie detaillierte, mehrstufige Pläne zur Erledigung von Missionen erstellen.

Beide Modelle sind darauf ausgelegt, Entwicklern zu helfen, leistungsfähigere und vielseitigere Roboter zu bauen, die in der Lage sind, komplexe, mehrstufige Aufgaben zu verstehen und auszuführen.

Agentische Erfahrungen und komplexe Aufgaben

Die meisten täglichen Aufgaben erfordern kontextuelle Informationen und mehrere Schritte zur Ausführung, was sie für heutige Roboter eine große Herausforderung darstellt. Ein Beispiel hierfür wäre die Anweisung an einen Roboter, Objekte in die richtigen Recycling- und Mülltonnen zu sortieren. Der Roboter müsste relevante lokale Recyclingrichtlinien im Internet suchen, die Objekte vor ihm analysieren und dann alle notwendigen Schritte zur korrekten Entsorgung durchführen.

Um solche komplexen Aufgaben zu bewältigen, haben die Entwickler von Gemini Robotics ein agentisches Framework geschaffen, in dem die beiden Modelle zusammenarbeiten. Gemini Robotics-ER 1.5 fungiert dabei als eine Art „Hirn“ des Roboters, das die Aktivitäten plant und logische Entscheidungen trifft. Es hat eine hervorragende räumliche Wahrnehmung und kann in natürlicher Sprache interagieren.

Fortschritte in der Robotik

Die neuen Modelle zeigen bemerkenswerte Fortschritte in der Robotik. Gemini Robotics 1.5 kann nicht nur Aufgaben ausführen, sondern auch über seine Handlungen nachdenken und seine Denkprozesse in natürlicher Sprache erklären. Dies macht die Entscheidungen des Roboters transparenter und nachvollziehbarer.

Ein weiteres bemerkenswertes Merkmal ist die Fähigkeit von Gemini Robotics 1.5, über verschiedene Roboterkörper hinweg zu lernen. Dies bedeutet, dass Bewegungen, die an einem Roboter gelernt wurden, auf einen anderen übertragen werden können, ohne dass das Modell für jede neue Roboterform spezialisiert werden muss. Dies beschleunigt das Erlernen neuer Verhaltensweisen und macht Roboter intelligenter und nützlicher.

Sicherheitsaspekte und verantwortungsvolle Entwicklung

Bei der Entwicklung von Gemini Robotics wird auch großer Wert auf Sicherheit gelegt. Das Unternehmen hat einen ganzheitlichen Ansatz zur Sicherheit implementiert, der hochrangige semantische Überlegungen umfasst. Dies bedeutet, dass die Roboter über ihre Handlungen nachdenken und sicherstellen, dass sie respektvoll mit Menschen interagieren.

Um die sichere Entwicklung der Gemini Robotics-Modelle zu fördern, wird auch ein Upgrade des ASIMOV-Benchmarks veröffentlicht, das eine umfassende Sammlung von Datensätzen zur Bewertung und Verbesserung der semantischen Sicherheit umfasst.

Ein Meilenstein auf dem Weg zur AGI

Die Einführung von Gemini Robotics 1.5 stellt einen wichtigen Meilenstein auf dem Weg zur Lösung der AGI (Artificial General Intelligence) in der physischen Welt dar. Durch die Einführung agentischer Fähigkeiten bewegen sich die Entwickler über Modelle hinaus, die nur auf Befehle reagieren, und schaffen Systeme, die tatsächlich denken, planen und Werkzeuge aktiv nutzen können.

Diese Fortschritte sind ein grundlegender Schritt in Richtung der Entwicklung von Robotern, die die Komplexität der physischen Welt mit Intelligenz und Geschicklichkeit navigieren können und letztendlich hilfreicher und integrierter in unser Leben werden.

Quellenliste:

• Quelle: Gemini Robotics 1.5 bringt KI-Agenten in die physische Welt
• Building the Next Generation of Physical Agents with Gemini Robotics-ER 1.5
• Gemini Robotics 1.5 Tech Report