Karpathy a lancé un chercheur IA autonome qui optimise les réseaux de neurones pendant que vous dormez 🤯

Andrej Karpathy a dévoilé autoresearch — un dépôt qui transforme littéralement le processus de recherche en ML en une boucle while True pour des agents LLM.

Le mécanisme est simple et repose sur trois fichiers :
1️⃣ prepare.py — une base solide. Télécharge les données, entraîne un tokenizer BPE et définit une fonction d'évaluation (métrique val_bpb — bits per byte). Ce fichier est interdit de modification par l'agent. C'est l'isolation de la métrique par rapport au sujet testé, pour empêcher l'IA de "pirater" le test lui-même.
2️⃣ train.py — le bac à sable. Entraînement d'un modèle de type GPT avec un optimiseur personnalisé moderne (ici Muon + AdamW). Ce fichier, l'agent peut le modifier à sa guise : changer les couches, les hyperparamètres, la taille du batch, la logique.
3️⃣ program.md — une instruction-prompt qui définit les règles du jeu pour l'agent (par exemple, Claude en local).

⚙️ À quoi ressemble la boucle :
Vous donnez une tâche à l'IA et allez vous coucher. L'agent lit le code, émet une hypothèse (par exemple, "je vais modifier le learning rate et ajuster les value embeddings"), réécrit train.py et lance l'entraînement.

L'agent a une limite stricte — exactement 300 secondes par exécution. L'agent émet une hypothèse ➡️ réécrit train.py ➡️ lance le script.
Si après 5 minutes val_bpb a diminué, le changement est validé (git commit). Si une erreur OOM se produit ou la métrique se dégrade — git reset et hypothèse suivante.

Une expérience — 5 minutes. Cela fait 12 expériences par heure. Environ 100 pendant que vous dormez. Le matin, vous ouvrez simplement results.tsv (le dépôt contient un script pour tracer des graphiques) et récupérez l'architecture optimisée pour votre matériel.

Vous n'avez plus besoin de déboguer manuellement les dimensions des tenseurs. Votre valeur en tant qu'ingénieur ne se mesure plus par la connaissance des paramètres de PyTorch, mais par votre capacité à rédiger un bon program.md 😏

#bon_open_source