Karpathy, siz uyurken sinir ağlarını ince ayarlayan otonom bir yapay zeka araştırmacısı başlattı 🤯

Andrey Karpathy, autoresearch deposunu yayınladı — bu, ML araştırma sürecini LLM ajanları için bir while True döngüsüne dönüştürüyor.

Mekanizma basit ve üç dosya etrafında inşa edilmiş:
1️⃣ prepare.py — sağlam temel. Verileri indirir, BPE tokenizer'ı eğitir ve bir değerlendirme fonksiyonu (metrik val_bpb — byte başına bit) tanımlar. Bu dosyaya ajanın dokunması yasaktır. Bu, metriğin test edilenden izole edilmesidir, böylece yapay zeka testi "hackleyemez".
2️⃣ train.py — kum havuzu. Özel bir optimize edici (burada Muon + AdamW) ile GPT benzeri bir modelin eğitimi. Bu dosyayı ajan istediği gibi değiştirebilir: katmanları, hiperparametreleri, batch boyutunu, mantığı değiştirir.
3️⃣ program.md — ajan (örneğin, yerel Claude) için oyunun kurallarını belirleyen talimat-prompt'u.

⚙️ Döngü nasıl görünür:
Yapay zekaya bir görev verirsiniz ve uyumaya gidersiniz. Ajan kodu okur, bir hipotez üretir (örneğin, "öğrenme oranını değiştirip value embeddings'leri düzelteyim"), train.py'yi yeniden yazar ve eğitimi başlatır.

Ajanın katı bir sınırı vardır — tam 300 saniye çalışma süresi. Ajan hipotez üretir ➡️ train.py'yi yeniden yazar ➡️ betiği çalıştırır.
5 dakika sonra val_bpb düşerse, değişiklik kaydedilir (git commit). OOM hatası alınırsa veya metrik kötüleşirse, git reset ve bir sonraki hipotez.

Bir deney — 5 dakika. Bu, saatte 12 deney demektir. Siz uyurken yaklaşık 100 deney. Sabah sadece results.tsv'yi açarsınız (depoda grafik çizme betiği var) ve donanımınıza göre optimize edilmiş hazır mimariyi alırsınız.

Artık tensor boyutlarını elle hata ayıklamanıza gerek yok. Bir mühendis olarak değeriniz artık PyTorch parametrelerini bilmekle değil, program.md'yi ne kadar iyi yazdığınızla ölçülüyor 😏

#iyi_açık_kaynak