Roboter können einzelne Handgriffe oft zuverlässig. Lange Aufgaben, die viele dieser Griffe hintereinander verlangen, scheitern trotzdem häufig. Ein neues Verfahren namens Baton von Bingxin Xu, Yuzhang Shang und Emilio Ferrara setzt genau an dieser Stelle an: nicht am einzelnen Griff, sondern am Übergang zur nächsten Teilstrecke.

Bestehende Modelle, die aus Bild und Anweisung direkt eine Bewegung machen, lösen Schublade öffnen, Dose greifen oder Dose ablegen oft einzeln. Auf dem Haushaltstest RoboMemArena, Aufgaben mit über tausend Schritten, kommen vergleichbare Systeme nach Angaben der Autoren nur bei etwa jeder zehnten kompletten Aufgabe durch. Viele Zwischenstationen gelingen. Die ganze Kette oft nicht.

Baton trainiert das Bewegungsmodell nicht nach. Ein Sprachmodell zerlegt die Aufgabe in Abschnitte, speichert für jeden Abschnitt, was danach noch möglich sein muss, und lässt das Bewegungsmodell erst greifen, wenn eine Kamera am Handgelenk bestätigt, dass die Szene bereit ist. Ein Beispiel aus dem Paper: Nach dem Öffnen einer Mikrowelle steht die Hand verdreht. Dieselbe Handhaltung taugt nicht für den nächsten Griff. Außerdem hängt die richtige Greifart davon ab, wohin der Gegenstand als Nächstes soll.

Auf RoboMemArena geben die Autoren rund 58 Prozent erfolgreich abgeschlossene Aufgaben an, etwa zwölf Punkte über dem bisher besten System auf diesem Test. Das sind ihre Messwerte, kein Feldversuch in einer unbekannten Wohnung. Gezeigt ist damit vor allem: Die Teilstücke einzeln zu üben und den Übergang zu prüfen, bringt auf diesem Benchmark mehr als die ganze Aufgabe in einem Stück zu suchen.

Bis bald
Euer Benny

Quellen