Ein Weltmodell für Roboter soll vorhersagen, was die Kamera sieht, wenn der Arm eine bestimmte Bewegung ausführt. Labore nutzen das als günstigen Ersatz für echte Versuche: Das Modell „probiert“ in der Simulation, die Steuerung wird nachgeschärft, erst dann geht es an die Hardware. Zwei Arbeiten, die arXiv heute listet, prüfen genau diese Annahme. Dazu kommt SpaceXAI, ehemals xAI: Mit Nvidia soll ein an den Orbit angepasstes Rechenzentrums-Rack 2027 fliegen.

Die Vorhersage sieht gut aus, der Arm macht etwas anderes

Chen, Liu, Wu und Kollegen von der Peking-Universität und dem Beijing Innovation Center of Humanoid Robotics stellen in WorldEcho fest: Sechs gängige Weltmodelle, trainiert auf Vorführungen geübter Demonstrationen, folgen diesen Vorführungen noch einigermaßen. Sobald man Bewegungen verlangt, die in den Vorführungen nicht vorkamen, brechen zwei Fehler auf. Entweder zerfällt das Bild – Arme verzerren sich, Greifer verschwinden. Oder das Video bleibt plausibel, zeigt aber nicht die befohlene Bewegung. Die visuelle Fehlerquote stieg in der Diagnose um 6,3 bis 28,1 Prozentpunkte.

Das ist der Punkt, an dem die Simulation teuer wird. Wenn eine Steuerung außerhalb der Trainingsverteilung sucht – und das tut sie, sobald sie verbessert werden soll –, liefert das Weltmodell entweder Müll oder eine zu freundliche Zukunft. Die Autoren ergänzen deshalb WorldSync: mehr Trainingsbeispiele jenseits der Vorführungen, plus zwei Hilfsziele, die die vorhergesagte Änderung an die echte Änderung koppeln, wenn sich nur der Befehl ändert.

Beim Tassenstapeln auf einem echten Roboter stieg die Erfolgsquote nach zwei Verbesserungsrunden von 48 auf 68 Prozent; ein Vergleichsmodell kam unter gleichem Budget auf 56 Prozent. In der Simulation lag WorldSync nach zwei Runden bei 65 Prozent, die Vergleichsbedingungen bei 56 und 57 Prozent. Die Autoren selbst schreiben, dass lange Horizonte und andere Roboterkörper offen bleiben.

Punkte im Bild statt Gelenkbefehle

Cao, Ji, Zhang, Ge, Fei-Fei, Wu und Huang von Stanford und Partnern argumentieren in TrAct in dieselbe Richtung von der anderen Seite: Gelenkbefehle hängen am jeweiligen Körper und passen schlecht zu Pixeln. Bewegte Punkte im Kamerabild – wohin wandert der Griff, der Deckel, die Tasse – sind körperunabhängig und liegen schon im Bildraum.

Ihr Ablauf: Ein Modell schlägt Bewegungen und die zugehörigen Bildspuren vor. Ein zweites sagt das zukünftige Video aus diesen Spuren voraus. Ein drittes bewertet, ob das Ergebnis zum Sprachbefehl passt. Ausgeführt wird die Bewegung, deren Spur die beste Vorhersage liefert. Gegen das Steuerungsmodell π0.5 messen die Autoren 55 statt 27 Prozent Erfolg in der Simulation und 76 statt 49 Prozent an einem Franka-Arm. Auch das sind Laborzahlen, keine Einsatzfreigabe.

SpaceXAI will denselben Chipstapel ins All bringen

NVIDIA hat am 24. August mitgeteilt, dass SpaceXAI die neue Vera-CPU für Agenten einsetzen und die Infrastruktur hinter Grok auf der Plattform Vera Rubin ausbauen will. Der erste geplante Rechensatellit „Starmind“ soll auf einem an den Orbit angepassten Vera-Rubin-NVL72 beruhen: 72 Grafikprozessoren, 36 CPUs, nach Nvidia rund 1.800 Kilogramm und 120 Kilowatt am Boden. Elon Musk schrieb, der Start sei für das vierte Quartal 2027 vorgesehen, größerer Umfang 2028. SpaceX beschreibt für den Satelliten ein 210-Kilowatt-Solarfeld und Flüssigkühler, die Wärme ins Vakuum abgeben.

The Register hält den Zeitplan für denkbar, aber ungesichert: Der Satellit existiert noch nicht. Was „an den Orbit angepasst“ konkret heißt – Strahlung, Startlast, weniger Einschübe –, haben weder Nvidia noch SpaceX öffentlich definiert. Das sind Hersteller- und Gründerangaben, keine Flugdaten.

Bis bald
Euer Benny

Quellen