Singularité à l'horizon : le code qui écrit le code qui forme le code 🔮

Jack Clark (co-fondateur d'Anthropic) a publié un essai-analyse de l'état actuel de l'industrie de l'IA.

Sa thèse principale : avec une probabilité >60 %, d'ici fin 2028, nous verrons un cycle de R&D entièrement automatisé. C'est-à-dire que le meilleur modèle pourra former de manière autonome sa prochaine version, plus intelligente, sans intervention humaine.

Cela ressemble à l'intrigue d'un mauvais film de science-fiction, mais Clark explique tout avec des métriques. Si l'on regarde les données agrégées des benchmarks, on devient un peu mal à l'aise face à la rapidité avec laquelle l'horizon de la compétence humaine se réduit.

1️⃣ Saturation des benchmarks d'ingénierie
SWE-Bench (résolution de problèmes réels sur GitHub). Fin 2023, le meilleur résultat était un maigre 2 % avec Claude 2. Aujourd'hui, Claude Mythos Preview atteint 93,9 %. En réalité, le benchmark est dépassé.
Le timeframe d'autonomie (METR) est passé de 4 minutes avec GPT-4 en 2023 à 12 heures de travail continu avec Opus 4.6 aujourd'hui. C'est une journée de travail complète d'un développeur intermédiaire qui ne fait pas de pauses. D'ici fin 2026, on s'attend à un bond à 100 heures. Cela suffit pour que le réseau neuronal non seulement corrige un bug, mais réécrive l'architecture du service pendant que vous faites autre chose.

2️⃣ Automatisation des tâches routinières des data scientists
Benchmark MLE-Bench (compétitions Kaggle hors ligne). Le meilleur système basé sur Gemini3 atteint 64,4 %.
CORE-Bench (reproduction d'articles scientifiques ML à partir du dépôt). Le modèle installe lui-même les dépendances, configure l'environnement, exécute le code et vérifie les résultats. Score — 95,5 %.

3️⃣ Le plus important : l'IA s'attaque à l'optimisation hardcore
Les réseaux neuronaux ont appris à écrire et optimiser des noyaux GPU (Triton/CUDA). Anthropic mesure comment les modèles optimisent le code pour l'entraînement des LLM sur CPU. En un an, l'accélération est passée de 2,9x (Opus 4) à 52x (Claude Mythos Preview). Un humain aurait besoin d'une journée de travail complète pour un tel résultat.
Un nouveau benchmark est apparu, PostTrainBench, où de grands modèles affinent de petits poids open source. Actuellement, les agents IA atteignent déjà ~50 % des performances des meilleurs ingénieurs ML des laboratoires de pointe.

Oui, les modèles manquent encore de "créativité" pour créer de nouveaux paradigmes (comme les transformers), mais ils n'en ont pas besoin. Le scaling extensif via des équipes autonomes d'agents IA sera largement suffisant.

Il est tout à fait possible que les grandes entreprises soient "grandes" en capital (besoin de beaucoup de GPU), mais très petites en effectifs. Pourquoi garder une équipe de 50 ingénieurs si un seul architecte peut gérer un essaim de 500 agents synthétiques qui ne s'épuisent pas et écrivent du code à la vitesse de la lumière ? Enfin, si tout se passe selon le scénario idéal et qu'il n'y a pas de cygnes noirs.

On y croit ?