TRAINING-FREE AGENT FÜR APP-AUTOMATISIERUNG

In der heutigen digitalen Welt, in der mobile Anwendungen eine zentrale Rolle spielen, stehen Entwickler und Forscher vor der Herausforderung, die Benutzeroberflächen (UI) dieser Anwendungen effizient zu automatisieren. Der GUI-explorer ist ein bahnbrechender Agent, der ohne vorheriges Training autonom mobile App-Oberflächen erkundet und Wissen extrahiert. Dies geschieht mithilfe von unüberwachten Methoden, die es ermöglichen, die Interaktionen mit der Benutzeroberfläche zu optimieren und die Herausforderungen der dynamischen Umgebungen zu bewältigen.

Herausforderungen der GUI-Automatisierung

Die Automatisierung von GUIs steht vor kritischen Herausforderungen, insbesondere in dynamischen Umgebungen. MLLMs (Multimodale Sprachmodelle) haben mit zwei wesentlichen Problemen zu kämpfen: der Fehlinterpretation von UI-Komponenten und dem veralteten Wissen. Traditionelle Methoden zur Feinabstimmung sind kostspielig und erfordern umfangreiche Updates für app-spezifisches Wissen.

Der GUI-explorer im Detail

Der GUI-explorer nutzt zwei grundlegende Mechanismen:

1. Autonome Exploration von funktionsbewussten Trajektorien: Um alle Funktionalitäten einer Anwendung umfassend abzudecken, wurde ein Function-aware Task Goal Generator entwickelt. Dieser Generator konstruiert automatisch Erkundungsziele, indem er strukturelle Informationen der GUI analysiert, wie z.B. Screenshots und Aktivitätshierarchien. Dies ermöglicht eine systematische Erkundung zur Sammlung vielfältiger Trajektorien.
2. Unüberwachtes Mining von transitionsbewusstem Wissen: Um präzise Logik für Bildschirmoperationen zu etablieren, wurde ein Transition-aware Knowledge Extractor entwickelt. Dieser extrahiert effektive Logik für Bildschirmoperationen durch unüberwachtes Analysieren der Zustandsübergänge von strukturierten Interaktionsdreifachen (Beobachtung, Aktion, Ergebnis). Dies eliminiert die Notwendigkeit menschlicher Beteiligung bei der Wissensextraktion.

Leistungsfähigkeit des GUI-explorers

Mit einer Erfolgsquote von 53,7 % bei SPA-Bench und 47,4 % bei AndroidWorld zeigt der GUI-explorer signifikante Verbesserungen im Vergleich zu aktuellen Agenten. Ein bemerkenswerter Vorteil ist, dass keine Parameteraktualisierungen für neue Apps erforderlich sind. Der GUI-explorer ist quelloffen und öffentlich verfügbar auf GitHub.

Praktische Anwendungen

Der GUI-explorer kann in verschiedenen Szenarien eingesetzt werden, sowohl in Multi-App- als auch in Single-App-Aufgaben. Beispielsweise könnte eine Multi-App-Aufgabe das Öffnen von Google Chrome beinhalten, um das aktuelle Wetter in Shenzhen zu suchen, während eine Single-App-Aufgabe das Abrufen von Suchergebnissen für Übernachtungsmöglichkeiten in der Nähe des Wembley Stadium umfassen könnte.

Fazit

Der GUI-explorer stellt einen bedeutenden Fortschritt in der Automatisierung von Benutzeroberflächen dar. Durch autonome Exploration und transitionsbewusstes Wissens-Mining adressiert er die Herausforderungen der Fehlinterpretation von UI-Komponenten und des Wissensverfalls. Die experimentellen Ergebnisse belegen die überlegene Leistung des GUI-explorers in wichtigen Benchmarks und zeigen, dass er eine vielversprechende Lösung für die Automatisierung von mobilen Anwendungen darstellt.

Quellenliste:

• Quelle: GUI-explorer: Autonomous Exploration and Mining of Transition-aware Knowledge for GUI Agent
• arXiv: GUI-explorer
• GitHub: GUI-explorer Code