Cómo los agentes de IA generan deuda técnica a escala industrial 😬

Todos están entusiasmados con benchmarks como SWE-bench y HumanEval, demostrando que las redes neuronales están a punto de reemplazar a los desarrolladores. El problema es que estas métricas evalúan exclusivamente programación instantánea. Se da una tarea -> la IA escupe un PR -> las pruebas pasan -> triunfo, nos vamos.
Pero en la producción real, escribir código que pase el pipeline una vez ni siquiera es la mitad del trabajo. La verdadera ingeniería es cuando tu código se puede modificar sin dolor dentro de un año. Y aquí es donde la IA comienza a fallar estrepitosamente.

Los chicos de Alibaba y la Universidad Sun Yat-sen publicaron un artículo en el que describen cómo hicieron que los agentes no solo resolvieran issues aislados, sino que mantuvieran bases de código reales a largo plazo (en el benchmark, un promedio de 233 días de historial y 71 commits por proyecto).

Crearon SWE-CI — el primer benchmark que evalúa no la capacidad de la IA para vomitar un fragmento de código para cerrar un issue, sino su capacidad para mantener el proyecto.
En lugar de un simple "aprobado/reprobado", introdujeron la métrica EvoScore. Penaliza la deuda técnica. Si tu arreglo en la 3.ª iteración hace que en la 10.ª iteración agregar una nueva función sea imposible, tu puntuación se va al abismo.

Para ello, levantaron un bucle de CI con dos agentes:
1️⃣ Arquitecto: observa las pruebas fallidas (test gaps) y escribe una especificación de alto nivel.
2️⃣ Programador: intenta escribir código para que la especificación se cumpla.
Y así sucesivamente.

¿Qué resultados?
🟠Tasa de cero regresiones en el suelo. El principal indicador de estabilidad. Si una prueba pasaba antes y después de tu commit falla, es una regresión. Pues bien, la mayoría de los LLM alabados tienen una tasa de ausencia de regresiones inferior al 25%. En otras palabras, al intentar arreglar una cosa, en 3 de cada 4 casos rompen algo que ya funcionaba. Solo Claude Opus logró superar el umbral del 50%.
🟠No hay planificación estratégica. Los modelos Kimi y GLM (sí, los chinos impulsan activamente sus LLM) están orientados a resultados rápidos: producen código excelente en el momento, pero se hunden rápidamente en su propio legado a largo plazo. Los modelos DeepSeek y GPT intentan jugar a largo plazo, pero igualmente tropiezan.

En resumen, por ahora las redes neuronales no saben de "esfuerzos conscientes". Operan con probabilidades, no con visión arquitectónica. Dale a un agente mantener un proyecto de producción durante seis meses, y lo convertirá en un monstruo de espagueti que da miedo tocar.