Karpaty hat einen autonomen KI-Forscher gestartet, der neuronale Netze optimiert, während Sie schlafen 🤯

Andrej Karpathy hat autoresearch veröffentlicht – ein Repository, das den ML-Forschungsprozess buchstäblich in eine while True-Schleife für LLM-Agenten verwandelt.

Die Mechanik ist einfach und basiert auf drei Dateien:
1️⃣ prepare.py – das solide Fundament. Lädt Daten herunter, trainiert einen BPE-Tokenizer und definiert eine Bewertungsfunktion (Metrik val_bpb – bits per byte). Diese Datei darf der Agent nicht anfassen. Dies isoliert die Metrik vom Testobjekt, damit die KI den Test nicht „hacken“ kann.
2️⃣ train.py – die Sandbox. Training eines GPT-ähnlichen Modells mit einem modernen benutzerdefinierten Optimierer (hier Muon + AdamW). Diese Datei kann der Agent nach Belieben ändern: Schichten, Hyperparameter, Batch-Größe, Logik.
3️⃣ program.md – die Anweisung/Prompt, die die Spielregeln für den Agenten festlegt (z. B. lokaler Claude).

⚙️ Wie die Schleife aussieht:
Sie geben der KI eine Aufgabe und gehen schlafen. Der Agent liest den Code, entwickelt eine Hypothese (z. B. „Ich ändere die Lernrate und passe die Value-Embeddings an“), überschreibt train.py und startet das Training.

Der Agent hat ein striktes Limit – genau 300 Sekunden pro Durchlauf. Der Agent entwickelt eine Hypothese ➡️ überschreibt train.py ➡️ startet das Skript.
Wenn nach 5 Minuten val_bpb gesunken ist, wird die Änderung übernommen (git commit). Bei einem OOM-Fehler oder einer Verschlechterung der Metrik erfolgt git reset und die nächste Hypothese.

Ein Experiment – 5 Minuten. Das sind 12 Experimente pro Stunde. Etwa 100 in der Zeit, während Sie schlafen. Morgens öffnen Sie einfach results.tsv (im Repo gibt es ein Skript zum Zeichnen von Grafiken) und erhalten eine fertige, für Ihre Hardware optimierte Architektur.

Sie müssen nicht mehr manuell Tensor-Dimensionen debuggen. Ihr Wert als Ingenieur wird nicht mehr an Ihren Kenntnissen der PyTorch-Parameter gemessen, sondern daran, wie gut Sie program.md schreiben können 😏

#lohnender_opensource