Karpathy Meluncurkan Peneliti AI Otonom yang Men-tune Jaringan Saraf Saat Anda Tidur 🤯

Andrej Karpathy merilis autoresearch — repositori yang benar-benar mengubah proses penelitian ML menjadi loop while True untuk agen LLM.

Mekanismenya sederhana dan dibangun di sekitar tiga file:
1️⃣ prepare.py — fondasi yang kokoh. Mengunduh data, melatih tokenizer BPE, dan menetapkan fungsi evaluasi (metrik val_bpb — bits per byte). File ini tidak boleh disentuh oleh agen. Ini mengisolasi metrik dari subjek yang diuji, sehingga AI tidak bisa "meretas" tes itu sendiri.
2️⃣ train.py — kotak pasir. Melatih model mirip GPT dengan optimizer kustom yang trendi (di sini menggunakan Muon + AdamW). File ini dapat diubah oleh agen sesuka hati: mengubah layer, hyperparameter, ukuran batch, logika.
3️⃣ program.md — instruksi/prompt yang menetapkan aturan main untuk agen (misalnya, Claude lokal).

⚙️ Seperti apa loop-nya:
Anda memberikan tugas kepada AI dan pergi tidur. Agen membaca kode, menghasilkan hipotesis (misalnya, "saya akan mengubah learning rate dan memperbaiki value embeddings"), menulis ulang train.py, dan menjalankan pelatihan.

Agen memiliki batas ketat — tepat 300 detik per putaran. Agen menghasilkan hipotesis ➡️ menulis ulang train.py ➡️ menjalankan skrip.
Jika dalam 5 menit val_bpb turun — perubahan dicatat (git commit). Jika terjadi OOM atau metrik menurun — git reset dan hipotesis berikutnya.

Satu eksperimen — 5 menit. Itu 12 eksperimen per jam. Sekitar 100 selama Anda tidur. Di pagi hari, Anda cukup membuka results.tsv (ada skrip di repo untuk menggambar grafik) dan mengambil arsitektur yang sudah dioptimalkan untuk perangkat keras Anda.

Anda tidak perlu lagi melakukan debug dimensi tensor secara manual. Nilai Anda sebagai insinyur sekarang diukur bukan dari pengetahuan parameter PyTorch, tetapi dari seberapa baik Anda menulis program.md 😏

#opensource_bermanfaat