Heute Morgen liegt auf arXiv wieder so ein Stapel, bei dem man erstmal sortieren muss. Drei Sachen bleiben hängen. Die erste klingt nach Buchhaltung, ist aber Architektur.

Das Wissen darf im Keller bleiben

Das Shanghai AI Laboratory hat Intern-S2-Mobius vorgestellt. Die Idee ist simpel, wenn man sie übersetzt: Im üblichen Modell liegt das Wissen in jeder Etage neben dem Rechner. Mobius stellt eine gemeinsame Bibliothek in den Keller und lässt mehrere Denker nachschlagen, wenn sie etwas brauchen.

Wie funktioniert das? Man kennt das vom Schreibtisch. Wer bei jedem Satz den ganzen Aktenschrank umzieht, ist langsam. Wer einen Zettel schreibt und nur in den Keller geht, wenn die Akte fehlt, kommt schneller durch.

Das Labor hat ein 7-Milliarden-Modell von null trainiert und kommt mit gut 60 Prozent der Trainingsdaten auf denselben Stand wie ein gleich großes Standardmodell. Das große Stück, weitertrainiert aus Qwen3.5-35B, liegt in ihren Tests ungefähr gleichauf – und sie messen fast vierfachen Durchsatz. In einem Lineare-Algebra-Beispiel braucht Mobius 516 Wörter Nachdenken, das Ausgangsmodell 2364. Herstellerzahlen, klar. Aber die Richtung ist eindeutig: weniger Gelaber auf dem Zettel. Die Gewichte liegen auf Hugging Face, der Code auf GitHub.

Fachabteilungen, ohne dass sie jemand eingezeichnet hat

Passend dazu ein MIT-Papier, das heute auf der neuen Liste steht. Han, Andreas, Fedorenko und de Varda haben 46 Aufgaben in vier Bereichen durch sechs große Modelle gejagt: Sprache, formales Denken, Physik, soziale Einschätzung.

Was kommt raus? Aufgaben, die im menschlichen Gehirn dasselbe Netzwerk nutzen, rufen im Modell überlappende Schaltstellen auf. Verschiedene Netzwerke: getrennte Schaltstellen. Innerhalb eines Bereichs vierfach mehr Überschneidung als dazwischen.

Noch greifbarer: Macht man die Sprach-Schaltstellen still, rechnet das Modell weiter richtig, schreibt aber wie jemand, der die Tastatur nicht mehr trifft. Macht man die Physik-Schaltstellen kaputt, bleibt die Grammatik stehen – die Antwort ist nur falsch. GPT-2, das die Aufgaben nicht kann, bildet diese Abteilungen nicht. Die Trennung kommt erst, wenn das Modell die Arbeit wirklich beherrscht. Projektseite mit den 46 Aufgaben: LLM Modularity.

Erst rechts, dann links, und den Schalter nicht umwerfen

Und weil heute auch Robotik-Montag ist: Moritz Zoellner und Kollegen von Purdue stellen hint² vor. Die Modelle, die sehen, Sprache verstehen und greifen, können oft einen Schritt. Eine Reihenfolge plus eine Verbotszone ist schon eine andere Liga.

hint² hängt zwei kleine Weltmodelle an eine fertige Steuerung, ohne sie umzutrainieren. Das grobe merkt sich: Schalter umgelegt? Schublade zu? Das feine passt auf, dass der Greifer nicht durch den verbotenen Winkel fährt. Auf dem echten UR5e-Arm heißt das: Cheez-Its erst in die rechte Schüssel, dann in die linke, dann wieder rechts. Videos gibt’s auf der Projektseite.

Kein neues Superhirn. Eher ein Einkaufszettel, den der Arm endlich in der richtigen Reihenfolge abhakt.

Quellen

Bis bald
Euer Benny