Ein allgemeiner Rahmen für Roboterrichtlinien: UniVLA auf GitHub

Die Entwicklung von Robotern, die in der Lage sind, in unterschiedlichen Umgebungen und mit verschiedenen Aufgaben zu agieren, ist ein zentrales Ziel der Robotik. UniVLA (Universal Video Latent Actions) ermöglicht das Lernen von Richtlinien aus unlabeled Videos über verschiedene Roboter-Embodiments hinweg, indem es aufgabenorientierte latente Aktionen ableitet.

Einführung in UniVLA

UniVLA ist ein innovativer Ansatz, der es Robotern ermöglicht, aus Videoaufnahmen zu lernen, ohne dass diese zuvor annotiert werden müssen. Dies geschieht durch die Ableitung latenter Aktionen, die auf spezifische Aufgaben ausgerichtet sind. Die Technologie zielt darauf ab, eine allgemeine Richtlinie für Roboter zu entwickeln, die in der Lage sind, in einem einheitlichen, embodiment-unabhängigen Aktionsraum zu planen.

Hauptmerkmale von UniVLA

• Task-zentrierte latente Aktionen: UniVLA extrahiert latente Aktionen aus Videos, die verschiedene Roboter-Embodiments zeigen, und ermöglicht so eine vielseitige Anwendung.
• Effizientes Training: Der Ansatz erzielt state-of-the-art Ergebnisse auf mehreren Benchmarks und benötigt dabei weniger Rechenressourcen als vergleichbare Modelle.
• Real-World-Experiment: UniVLA wurde in realen Robotertests evaluiert, um die praktische Anwendbarkeit zu demonstrieren.

Technische Details

Die Implementierung von UniVLA basiert auf dem VQ-VAE (Vector Quantized Variational Autoencoder) und umfasst mehrere Trainingsphasen:

1. Task-zentriertes Lernen

Der erste Schritt besteht darin, latente Aktionen zu lernen, die nicht auf eine spezifische Aufgabe ausgerichtet sind. Dies geschieht durch das Training eines Modells mit einer großen Sammlung von Roboter- und Mensch-Videos.

2. Vortraining der allgemeinen Richtlinie

Nach dem Lernen der latenten Aktionen wird das Modell verwendet, um Pseudo-Labels für die Optimierung der Richtlinie zu generieren. Dies geschieht durch eine Next-Token-Vorhersage, die die latenten Aktionen in spezifische Tokens umwandelt.

3. Nachtraining für den Einsatz

Nach dem Vortraining wird das Modell für spezifische Anwendungen angepasst, indem spezifische Aktionsdecoder hinzugefügt werden. Diese Decoder sind leichtgewichtig und ermöglichen eine effiziente Feinabstimmung.

Leistung von UniVLA

Die Ergebnisse von UniVLA auf dem LIBERO-Benchmark zeigen eine überlegene Leistung im Vergleich zu anderen Modellen. In verschiedenen Kategorien wie LIBERO-Spatial, LIBERO-Object und LIBERO-Goal hat UniVLA die höchsten Erfolgsraten erzielt.

Fazit

UniVLA stellt einen bedeutenden Fortschritt in der Robotik dar, indem es eine flexible und effiziente Methode zur Entwicklung von Roboterrichtlinien bietet. Die Fähigkeit, aus unlabeled Videos zu lernen, eröffnet neue Möglichkeiten für die Automatisierung und Robotik.

Quellenliste:

• Quelle: A GENERALIST ROBOT POLICY FRAMEWORK (GITHUB REPO)
• Learning to Act Anywhere with Task-centric Latent Actions