Apple Studie zeigt spannende Möglichkeit zum Roboter Training

In der aktuellen Apple Studie „Humanoid Policy – Human Policy“ wird beschrieben, wie Roboter durch Anschauen von Videos ihr Verhalten lernen können.

Die Videos zeigen Menschen aus der ersten Perspektive, anhand denen Roboter die Bewegungen effizienter und kostengünstiger trainieren können.

Was zeigt die Apple Roboter Studie?

Laut der Studie „Humanoid Policy – Human Policy“ können Roboter über Videos, die Menschen aus der ersten Perspektive zeigen, ihr Verhalten studieren und darauf basierend trainiert werden.

Das Gemeinschaftsprojekt wird von Apple, MIT, Carnegie Mellon, der University of Washington und der UC San Diego betrieben. Darin wird analysiert, wie Aufnahmen aus der ersten Perspektive von Menschen, die Objekte verwenden, eingesetzt werden können, um Allzweckrobotermodelle zu trainieren.

Die Forscher sammelten mehr als 25.000 Demonstrationen und 1.500 Roboterdemonstrationen, der als Datensatz die Bezeichnung PH2D erhielt. Die Daten wurden in eine einheitliche KI-Richtlinie eingetragen, die in einen echten humanoiden Roboter in der physischen Welt kontrollieren könnte.

Schnelleres Training

Als Sammler für die Trainingsdaten diente eine Apple Vision Pro App, die Videos über die Kamera an der unteren linken Geräteseite aufzeichnet und das ARKit nutzt, um 3D-Kopf- und Handbewegungen zu tracken.

Eine Halterung aus dem 3D-Drucker half dabei eine ZED Mini-Stereokamera an anderen Headsets zu befestigen, die mit denen eine vergleichbare 3D-Bewegungsverfolgung günstiger möglich ist.

Das Setup resultierte in qualitativ hochwertigen Demonstrationen innerhalb von Sekunden, was eine deutliche Optimierung gegenüber normalen Roboter-Tele-Op-Methoden bedeutet, die kostenintensiver, schwieriger und langsamer zu skalieren sind.

Menschlicher Aktionstransformator

Das HAT (Menschlicher Aktionstransformator) war der Schlüssel zur Studie und ist ein Modell, welches für menschliche und Roboterdemonstrationen in einem gemeinsamen Format trainiert wurde. Von dem menschlichen Aktionstransformator wird eine einzige Richtlinie erlernt.

Dieser Trainingsansatz unterstützte den Robotern dabei, schwierige Aufgaben zu lösen, inklusiver jener, die er vorher nie gesehen hatte.

Insgesamt zeigt Apples Studie einen interessanten Weg, wie Roboter basierend auf menschlichen Bewegungen sich selbst optimal trainieren können und schneller kostengünstiger lernen können als mit klassischen Methoden.