Comment les agents IA génèrent-ils une dette technique à l'échelle industrielle 😬

Tout le monde s'emballe avec des benchmarks comme SWE-bench et HumanEval, prouvant que les réseaux de neurones sont sur le point de remplacer les développeurs. Le problème est que ces métriques évaluent exclusivement la programmation instantanée. On donne une tâche -> l'IA crache une PR -> les tests sont verts -> triomphe, on se sépare.
Mais dans un environnement de production réel, écrire du code qui passe un pipeline une fois n'est même pas la moitié du travail. La véritable ingénierie, c'est quand votre code peut être modifié sans douleur un an plus tard. Et c'est là que l'IA commence à sérieusement dérailler.

Des gars d'Alibaba et de l'Université Sun Yat-sen ont publié un article dans lequel ils décrivent comment ils ont forcé des agents non seulement à résoudre des problèmes isolés uniques, mais à maintenir des bases de code réelles sur une longue période (dans le benchmark, en moyenne 233 jours d'historique et 71 commits par projet).

Ils ont créé SWE-CI — le premier benchmark qui évalue non pas la capacité de l'IA à pondre un bout de code pour fermer un seul problème, mais sa capacité à maintenir le projet.
Au lieu d'un bête "pass/fail", ils ont introduit la métrique EvoScore. Elle pénalise la dette technique. Si votre correctif à la 3ème itération rend impossible l'ajout d'une nouvelle fonctionnalité à la 10ème itération, votre score plonge dans l'abîme.

Pour cela, ils ont mis en place une boucle CI avec deux agents :
1️⃣ Architecte : examine les tests échoués (test gaps) et rédige une spécification de haut niveau.
2️⃣ Programmeur : essaie d'écrire du code pour que la spécification soit exécutée.
Et ainsi de suite.

Quels sont les résultats ?
🟠Taux de zéro-régression au plus bas. Le principal indicateur de stabilité. Si un test passait avant et échoue après votre commit, c'est une régression. Eh bien, la plupart des LLM vantés ont un taux d'absence de régression inférieur à 25%. En d'autres termes, en essayant de réparer une chose, ils cassent dans 3 cas sur 4 ce qui fonctionnait déjà. Seul Claude Opus a réussi à franchir le seuil des 50%.
🟠Planification stratégique absente. Les modèles Kimi et GLM (oui, les Chinois poussent activement leurs LLM) sont conçus pour un résultat rapide — ils produisent un excellent code sur le moment, mais se noient rapidement dans leur propre héritage sur la longue distance. Les modèles DeepSeek et GPT essaient de jouer le long terme, mais trébuchent quand même.

En résumé, pour l'instant, les réseaux de neurones ne savent pas faire des "efforts conscients". Ils opèrent par probabilités, non par vision architecturale. Donnez à un agent la maintenance d'un projet de production pendant six mois, et il le transformera en monstre spaghetti qu'on aura peur de toucher.