ZuhauseNachrichtenRoboter mit Hilfe von intelligenten Brillen trainieren?

Roboter mit Hilfe von intelligenten Brillen trainieren?

Intelligente Brillen bieten skalierbare Trainingsdaten im Vergleich zu statischen Kameras.Roboter lernen Manipulationsaufgaben direkt von Interaktionen zwischen Menschen und Objekten, die in alltäglichen Umgebungen erfasst wurden.



Das Allzweck-Robotik und das AI-Labor der New York University haben Egozero eingeführt, ein Rahmen, das intelligente Brillen verwendet, um Trainingsdaten für Roboter zu generieren.Das System nutzt egozentrische Video- und räumliche Tracking, um allgemeine Manipulationsmodelle zu trainieren, ohne dass Roboterdemonstrationsdaten erforderlich sind.Der „Ego“ -Teil von Egozero bezieht sich auf die „egozentrische“ Natur der Daten, was bedeutet, dass es aus der Perspektive der Person erfasst wird, die eine Aufgabe ausführt.

Egozero arbeitet mit egozentrischen Aufnahmen aus der Projekt Aria -Brille von Meta.Diese Geräte erfassen kontinuierliche Video- und räumliche Informationen aus der ersten Person, wenn Menschen alltägliche Aufgaben ausführen.Die Daten werden über eine Pipeline verarbeitet, die Objektpunkte in 3D unter Verwendung von Kamera -Trajektorien und Triangulation lokalisiert.Handpose -Schätzmodelle liefern wichtige Punkte, die in „Aktionspunkte“ umgewandelt werden, die Kontakt- und Bewegungsvektoren darstellen.

Das System vermeidet Rohbildübertragung.Stattdessen reduziert es Aufnahmen in punktbasierte Flugbahnen im 3D-Raum.Diese Punktabstraktion umgeht die visuelle Fehlanpassung zwischen menschlichen Händen und Roboterendeffektoren.Roboterarme replizieren dann die relative Bewegung dieser Punkte in Bezug auf Objekte, anstatt zu versuchen, das Erscheinungsbild menschlicher Bewegungen zu reproduzieren.

Bei Proof-of-Concept-Experimenten wurden für jede der sieben Aufgaben 20 Minuten menschlicher Demonstrationen aufgezeichnet, einschließlich Pick-and-Place-Aktionen.Roboter, die nur für diese egozentrischen Daten trainiert wurden, erreichten eine Erfolgsrate von 70 Prozent, wenn sie bei physischen Aufgaben eingesetzt wurden.

Die Architektur bietet Portabilität und Skalierbarkeit.Intelligente Brillen erfassen relevante Aufgabendetails automatisch, da Träger ihre Sicht auf kritische Bereiche orientieren.Dies erhöht aufgabenrelevante Daten im Vergleich zu statischen externen Kameras.Es wird auch die Notwendigkeit einer roboterspezifischen Datenerfassung beseitigt, die zeitaufwändig und hardwareabhängig ist.

Neben Egozero entwickelten Forscher einen 3D-gedruckten Handheld Gripper mit einer Smartphone-Kamera, um Roboterfassen zu replizieren.Diese parallele Methode wendet das gleiche Punkt-Raum-Tracking-Prinzip an und bietet einen kostengünstigen Pfad zu größerer Datenerfassung in Maßstab.

Egozero stellt einen Schritt in Richtung skalierbarer Datensätze der Human-Object-Interaktion dar, vergleichbar mit Textdaten im Internetmaßstab für Sprachmodelle, die die Robotik der allgemeinen Zwecklinge beschleunigen sollen.