Wie KI-Agenten technische Schulden in industriellem Maßstab erzeugen 😬

Alle rennen mit Benchmarks wie SWE-bench und HumanEval herum und beweisen, dass neuronale Netze bald Entwickler ersetzen werden. Das Problem ist, dass diese Metriken ausschließlich Snapshot-Programmierung bewerten. Aufgabe gegeben -> KI spuckt PR aus -> Tests sind grün -> Triumph, wir gehen auseinander.
Aber in der echten Produktion ist es nicht einmal die Hälfte der Arbeit, Code zu schreiben, der einmalig die Pipeline durchläuft. Echte Ingenieurskunst bedeutet, dass Ihr Code in einem Jahr schmerzfrei modifiziert werden kann. Und genau hier beginnt die KI zu versagen.

Die Leute von Alibaba und der Sun Yat-sen University haben ein Paper veröffentlicht, in dem sie beschreiben, wie sie Agenten nicht nur dazu gebracht haben, einzelne isolierte Issues zu schließen, sondern reale Codebasen über eine lange Distanz zu betreuen (im Benchmark durchschnittlich 233 Tage Historie und 71 Commits pro Projekt).

Sie haben SWE-CI erstellt – den ersten Benchmark, der nicht die Fähigkeit der KI bewertet, ein Stück Code zur Schließung eines einzelnen Issues auszuspucken, sondern ihre Fähigkeit, ein Projekt tatsächlich zu warten.
Statt eines stumpfen „Pass/Fail“ führten sie die Metrik EvoScore ein. Sie bestraft technische Schulden. Wenn Ihre Lösung in der 3. Iteration dazu führt, dass das Hinzufügen einer neuen Funktion in der 10. Iteration unmöglich wird, stürzt Ihr Score in den Abgrund.

Dafür haben sie eine CI-Schleife mit zwei Agenten aufgesetzt:
1️⃣ Architect: Schaut sich fehlgeschlagene Tests (Testlücken) an und schreibt eine High-Level-Spezifikation.
2️⃣ Programmer: Versucht, Code zu schreiben, um die Spezifikation zu erfüllen.
Und so weiter im Kreis.

Was sind die Ergebnisse?
🟠Zero-Regression-Rate am Boden. Der wichtigste Stabilitätsindikator. Wenn ein Test zuvor bestanden wurde und nach Ihrem Commit fehlschlägt, handelt es sich um eine Regression. Die meisten vielgepriesenen LLMs haben eine Zero-Regression-Rate unter 25%. Mit anderen Worten: Beim Versuch, ein Problem zu beheben, zerstören sie in 3 von 4 Fällen etwas, das bereits funktioniert hat. Nur Claude Opus konnte die 50%-Marke überschreiten.
🟠Strategische Planung fehlt. Die Modelle Kimi und GLM (ja, die Chinesen pushen ihre LLMs aktiv) sind auf schnelle Ergebnisse ausgelegt – sie liefern im Moment hervorragenden Code, versinken aber auf lange Sicht schnell in ihrer eigenen Altlast. Die Modelle DeepSeek und GPT versuchen, langfristig zu spielen, stolpern aber trotzdem.

Kurz gesagt: Neuronale Netze können noch keine „bewussten Anstrengungen“. Sie arbeiten mit Wahrscheinlichkeiten, nicht mit architektonischer Vision. Lassen Sie einen Agenten ein Produktionsprojekt ein halbes Jahr lang warten, und er wird es in ein Spaghetti-Monster verwandeln, das man kaum anzufassen wagt.