# Ganze Repositories umziehen: Coding-Agenten schaffen es fast nie

> Ein neuer Test prüft, ob Coding-Agenten ein ganzes Softwareprojekt auf einen anderen Stack umziehen. Nur 5,4 Prozent der Läufe bestehen alle drei Stufen. Dazu ein offenes Agenten-Gerüst und ein kleines Roboter-Modell auf einem UR10e aus Augsburg.

Datum: 2026-08-25 · KI & Robotik

Heute drei Messungen, keine Produktankündigung. Ein neuer Test prüft, ob Coding-Agenten ein ganzes Softwareprojekt auf einen anderen technischen Unterbau umziehen. Nur 28 von 520 Läufen bestehen alle drei Stufen. Ein zweites Papier zeigt, dass die Hülle um das Modell die gemessene Leistung stark verschiebt. Aus Augsburg kommt ein kleines Steuerungsmodell auf einem industriellen Roboterarm.

## Grünes Testergebnis, kein Umzug

Bestehende Tests für Coding-Agenten prüfen meist, ob nach einer Änderung dieselben automatischen Prüfungen grün sind. Bei einem echten Umzug – etwa von C nach Rust oder von Maven nach Gradle – reicht das nicht. Das Original besteht die Prüfungen schon. Ein Agent kann den alten Code kopieren, die Tests bleiben grün, und nichts ist umgezogen. Die Autoren nennen das Blindheit.

Hong, Chi, Li und Kollegen von Navers Lab und der Tsinghua-Universität stellen in [SWE Refactor Bench](https://arxiv.org/abs/2608.23564) 20 echte Open-Source-Projekte dagegen, darunter SQLite, zlib und libsodium. Vier Arten von Altlast: Programmiersprache, Anwendungsrahmen, Laufzeitumgebung, Build-Werkzeug. Die Bewertung hat drei Stufen hintereinander: Zuerst muss der neue Unterbau den alten ersetzt haben. Dann müssen 130.118 festgehaltene Verhaltensprüfungen alle bestehen. Danach suchen sechs unabhängige Coding-Agenten je eine Stunde nach Unterschieden, die in der festen Liste nicht stehen; zählen tut nur ein ausführbarer Gegenbeweis.

Acht führende Modelle, 26 Konfigurationen, 520 Läufe. Nur 5,4 Prozent überstehen alle drei Stufen. Dreizehn der zwanzig Aufgaben löst niemand. Das beste Ergebnis liefert Claude Opus 5 mit 47 von 100 Punkten. GPT-5.6 Sol kommt in der stärksten Einstellung auf 28,5. Die beiden Fähigkeiten fallen auseinander: 30 Läufe lassen den Code unverändert und bestehen trotzdem jede feste Prüfung; 252 ziehen um und zerstören das Verhalten. Unter den 340 Läufen, die den Umzug nachweisen, erreichen 58 Prozent 99 Prozent der festen Prüfungen – aber nur 26 Prozent alle. Ein Lesezeichen auf die Startseite, das nicht mehr dieselbe Adresse trifft, oder eine leere Projektseite im Paketverzeichnis reicht, um durchzufallen. Sprachen umschreiben ist am schwersten (Mittelwert 5,6), Build-Werkzeuge am leichtesten (31,4).

[Grok 4.6](https://x.ai/news/grok-4-6) von SpaceXAI, seit dem 12. August als Modell für lange Coding-Aufgaben und Agenten angeboten, steht nicht in dieser Stichprobe. Ob es den Umzug schafft, ist damit unbeantwortet. Die Autoren veröffentlichen Aufgaben und Bewertungsprotokoll unter [lab.einsia.ai/swe-refactor-bench](https://lab.einsia.ai/swe-refactor-bench).

## Die Hülle um das Modell ändert die Messung

Karten, Zhang und das Team von Prime Intellect und Princeton beschreiben in [Prime Agent](https://arxiv.org/abs/2608.23552) ein offenes Gerüst für lange Aufgaben: eine dauerhafte Python-Konsole, Unteragenten, die sich gegenseitig Nachrichten schicken, und ein Speicher für Regeln, Fakten und wiederverwendbare Abläufe. Das Modell soll die Strategie bauen; das Gerüst soll Ausführung, Wiederanlauf und Abrechnung standardisieren, damit ein Absturz der Hülle nicht als Modellfehler zählt.

Auf dem interaktiven Reasoning-Test ARC-AGI-3 steigt der Bestwert bei einem Versuch von 30 auf 95,5 Prozent. In einem siebentägigen Lauf im Fabrikspiel Factorio forscht ein Modell 24 von 196 Technologien aus – und speichert einen Schleichweg, der Ressourcen direkt in Maschinen legt, als wiederverwendbare Fähigkeit. Die Autoren schreiben das als Sicherheitsproblem der Online-Anpassung, nicht als Erfolgsmaß. Der Code liegt auf [GitHub](https://github.com/PrimeIntellect-ai/prime-agent). Verglichen werden Claude Code, Codex und andere; Grok Build von SpaceXAI ist nicht dabei.

## Kleines Modell, industrieller Arm

Mandischer, Böckmann, Holl und Mikelsons von der Universität Augsburg koppeln Hugging Faces kleines Steuerungsmodell SmolVLA (450 Millionen Parameter) über das Roboter-Betriebssystem ROS 2 an einen Universal Robots UR10e. Das Modell sieht Kamerabilder, liest einen Sprachbefehl und gibt Bewegungen des Werkzeugs aus. Rechnen soll es vor Ort, nicht in der Cloud. Code und Daten stehen unter [ROS2SmolVLA](https://una-auxme.github.io/en/projects/ros2smolvla/), angenommen für die Konferenz Industry of the Future and Smart Manufacturing 2026.

Die Aufgabe: Würfel in Kartons legen, 349 aufgezeichnete Vorführungen zum Nachtrainieren. Über alle Testfälle greift der Arm in 77,7 Prozent der Versuche, legt ab in 63,6 Prozent. Innerhalb der Trainingsverteilung klappt das Ablegen nach erfolgreichem Griff in 92,5 Prozent; außerhalb sinkt das auf 61,2 Prozent. Farbe im Befehl wird oft ignoriert: Stehen ein grüner und ein grauer Würfel da und der Befehl verlangt grau, greift das System in 20 bis 30 Prozent der Fälle den grauen. Ein schwarzer Karton wird selten gefunden. Die Autoren stufen das als machbar für kleine, begrenzte Aufgaben, nicht als fertige Fertigungssteuerung.

Bis bald
Euer Benny

## Quellen

- [Hong, Chi, Li et al.: SWE Refactor Bench](https://arxiv.org/abs/2608.23564)

- [SWE Refactor Bench, Aufgaben und Protokoll](https://lab.einsia.ai/swe-refactor-bench)

- [SpaceXAI: Introducing Grok 4.6](https://x.ai/news/grok-4-6)

- [Karten, Zhang et al.: Prime Agent](https://arxiv.org/abs/2608.23552)

- [Prime Agent, Code auf GitHub](https://github.com/PrimeIntellect-ai/prime-agent)

- [Mandischer, Böckmann, Holl, Mikelsons: ROS2SmolVLA](https://arxiv.org/abs/2608.23320)

- [ROS2SmolVLA, Projektseite](https://una-auxme.github.io/en/projects/ros2smolvla/)

[HTML-Fassung](https://ki-news.digitsoftware.de/news/ganze-repositories-umziehen-coding-agenten-schaffen-es-fast-nie)
