Am 13. August liegt auf arXiv ein Paper, das eine einfache Unsitte in der Robotik-Forschung beim Namen nennt: Viele Navigationsbenchmarks teleportieren den Roboter. Der Agent steht plötzlich drei Meter weiter. Beim Humanoiden fällt genau das auseinander – Gang, Schwerpunkt, Kamerawackeln.

HumanoidVLN von Quan-Dung Pham und Kollegen (VinMotion und University of Southern California) ist ein Simulator und Benchmark auf NVIDIA Isaac Sim. Vier Körper: Unitree G1 (12 DoF, 1,32 m), Unitree H1 (10 DoF, 1,80 m) und zwei interne Plattformen. Unten eine RL-Lokomotionspolitik, oben wahlweise PD- oder MPC-Pfadfolger. Neue Roboter brauchen URDF und eine gelernte Gangpolitik, neue VLN-Modelle nur die Beobachtungs-Aktions-Schnittstelle.

Die Szenen sind nicht einfach „viele Zimmer“. 87 Umgebungen, mindestens 100 Quadratmeter begehbare Fläche, Median 266. Teilweise Künstler-Szenen, teilweise 3D-Gaussian-Splatting aus echten Aufnahmen, mit TSDF-Netzen für die Kollision. 933 Episoden, jede mit einer feinen Wegbeschreibung und drei stilistischen Varianten. Die Texte kommen aus einem Generator-Reviewer-Paraphraser, danach schauen Menschen drauf. Das ist aufwendig – und genau deshalb glaubwürdiger als ein einzelner VLM-Durchlauf, der links und rechts vertauscht.

Die Messwerte sind ernüchternd und deshalb nützlich. JanusVLN kommt im Mittel auf 43,55 Prozent Success Rate und 48,38 nDTW. Der 1,80-Meter-H1 ist der Härtetest: Bei NaVILA und StreamVLN liegen die Fallraten bei 71 bzw. 65 Prozent. DualVLN fällt seltener, offenbar weil es kontinuierliche Geschwindigkeiten ausgibt statt diskreter Schritte. Ein 20-Episoden-Pilot mit DualVLN auf einem echten G1 korreliert mit der Simulation (r = 0,935), mittlere Fehlerdifferenz 0,68 Meter.

Wie funktioniert das für uns außerhalb des Labs? Noch gar nicht als Produkt. Als Messlatte schon: Wer behauptet, sein Humanoid verstehe „geh zur Küche“, muss sagen, auf welchem Körper, mit welcher Fallrate, und ob der Weg gelaufen oder gebeamt wurde. Code und Daten sollen nach der Annahme kommen.

Bis bald
Euer Benny

Quellen