Egocentric-10K: Der umfassende Datensatz für Handsichtbarkeit und aktive Manipulation

Der Egocentric-10K Datensatz ist ein bahnbrechendes Projekt, das sich auf die Erfassung von Handsichtbarkeit und aktiver Manipulation konzentriert. Mit über 10.000 Stunden Videomaterial bietet dieser Datensatz eine unvergleichliche Ressource für Forscher und Entwickler im Bereich der Computer Vision und Robotik. In diesem Artikel werden wir die Hauptmerkmale, die Struktur und die Anwendungsmöglichkeiten dieses Datensatzes näher beleuchten.

Einführung in den Egocentric-10K Datensatz

Der Egocentric-10K Datensatz ist der größte seiner Art und wurde als erster Datensatz ausschließlich in realen Fabriken gesammelt. Dies bedeutet, dass die Daten unter realistischen Bedingungen erfasst wurden, was die Relevanz und Anwendbarkeit der Ergebnisse in der Praxis erheblich erhöht. Die Daten umfassen eine Vielzahl von Szenarien, in denen Arbeiter mit Objekten interagieren, was für das Training von KI-Modellen zur Erkennung und Analyse von Handbewegungen von entscheidender Bedeutung ist.

Dataset-Statistiken

• Gesamte Stunden: 10.000
• Gesamtanzahl der Frames: 1,08 Milliarden
• Videoclips: 192.900
• Median Clip Länge: 180 Sekunden
• Arbeiter: 2.138
• Durchschnittliche Stunden pro Arbeiter: 4,68
• Speichergröße: 16,4 TB
• Format: H.265/MP4
• Auflösung: 1080p (1920×1080)
• Bildrate: 30 fps
• Sichtfeld: 128° horizontal, 67° vertikal
• Kameratyp: Monokular, kopfmontiert
• Audio: Nein

Struktur des Datensatzes

Der Egocentric-10K Datensatz ist im WebDataset Format strukturiert. Dies ermöglicht eine effiziente Handhabung und Verarbeitung der großen Datenmengen. Der Datensatz ist in verschiedene Fabriken unterteilt, wobei jede Fabrik mehrere Arbeiter und deren Interaktionen umfasst. Jeder TAR-Datei enthält Paare von Video- und Metadatendateien, die wichtige Informationen über die Videos bereitstellen.

Beispiel für die Struktur

builddotai/Egocentric-10K/
├── factory_001/
│   └── workers/
│       ├── worker_001/
│       │   ├── factory001_worker001_part00.tar
│       │   └── factory001_worker001_part01.tar
│       └── worker_002/
│           └── factory001_worker002_part00.tar
└── factory_002/
    └── workers/
        ├── worker_001/
        │   └── factory002_worker001_part00.tar
        └── ...

Zugriff auf den Datensatz

Um auf den Egocentric-10K Datensatz zuzugreifen, müssen Benutzer die Bedingungen akzeptieren, die auf der Hugging Face Plattform festgelegt sind. Der Datensatz ist öffentlich zugänglich, jedoch ist eine Registrierung erforderlich, um die Kontaktinformationen bereitzustellen.

Anwendungsmöglichkeiten

Die Anwendungsmöglichkeiten des Egocentric-10K Datensatzes sind vielfältig. Er kann verwendet werden, um KI-Modelle zu trainieren, die in der Lage sind, menschliche Handbewegungen zu erkennen und zu analysieren. Dies ist besonders relevant für die Entwicklung von Robotern, die in der Lage sein müssen, mit Menschen zu interagieren und Aufgaben in realen Umgebungen auszuführen. Zudem kann der Datensatz in der Forschung zur Verbesserung von Algorithmen für die Bildverarbeitung und maschinelles Lernen eingesetzt werden.

Fazit

Der Egocentric-10K Datensatz stellt einen bedeutenden Fortschritt im Bereich der Datensätze für die Computer Vision dar. Mit seiner umfangreichen Sammlung von Videos und den detaillierten Metadaten bietet er eine wertvolle Ressource für Forscher und Entwickler, die an der Schnittstelle von Mensch und Maschine arbeiten. Die Möglichkeit, auf realistische Daten zuzugreifen, wird die Entwicklung innovativer Lösungen in der Robotik und darüber hinaus vorantreiben.

Quellenliste:

• Quelle: Egocentric-10K Dataset
• WebDataset Format
• Build AI