La réalité contre-attaque : pourquoi l'IA tant vantée obtient 0% dans un nouveau benchmark 🔨

Je viens de lire l'essai de Jack Clark sur la singularité imminente et le SWE-Bench pulvérisé, avec des chiffres impressionnants : les meilleures IA atteignent 93,9% sur SWE-Bench, résolvant presque de manière autonome de vrais problèmes GitHub. On pourrait croire qu'il est temps de supprimer son IDE et d'apprendre à devenir barista.

Mais voilà que des chercheurs de Stanford et Harvard ont lancé un nouveau benchmark — ProgramBench. Et il a publiquement humilié tous les modèles frontières existants.

Spoiler : le résultat de GPT-5.4, Claude Opus 4.7 et Gemini 3.1 Pro est exactement 0%.

En quoi ça consiste ?
On donne à l'agent un binaire compilé (du simple jq à des monstres comme FFmpeg ou SQLite) et de la documentation.
La tâche : écrire à partir de zéro une base de code qui reproduit à 100% le comportement de l'original.

Le plus drôle, c'est comment les auteurs ont dû cloisonner le bac à sable. Au départ, avec un accès réseau ouvert, les réseaux de neurones, au lieu d'"écrire du code", se contentaient d'analyser --help, de trouver le dépôt GitHub correspondant et de faire un git clone. Une fois le réseau coupé, les agents tentaient de télécharger les sources via des gestionnaires de paquets ou écrivaient bêtement des scripts bash autour du binaire original.

Pour mettre fin à cette mascarade, les conteneurs ont été complètement isolés et les binaires ont reçu les droits 111 (exécution uniquement). Aucune lecture. Du pur reverse engineering en boîte noire : on fournit des entrées, on observe les sorties, on écrit une implémentation dans n'importe quel langage Turing-complet.

Et là, une chose étonnante est apparue. Une chose est de donner à un réseau de neurones un dépôt tout prêt avec une architecture bien établie, où il n'a qu'à écrire un patch de 50 lignes. Une tout autre chose est de lui faire concevoir un système.

Dès que l'IA est privée de ses "béquilles" sous forme d'abstractions toutes faites inventées par des ingénieurs en chair et en os, elle s'effondre. Il s'avère que les modèles ne savent pas faire de conception système, de décomposition et de construction d'interfaces. Ils sont physiquement incapables de garder en "tête" une architecture à partir de zéro si on ne leur donne pas un cadre rigide. Et ce, même si les modèles brûlaient jusqu'à 5000 $ par exécution, sans être limités par le contexte.

Bref, les sacs de chair vont encore se battre. 💪