Realitas Menyerang Balik: Mengapa AI yang Dipuji Mendapat 0% di Tolok Ukur Baru 🔨

Baru saja saya membaca esai Jack Clark tentang singularitas yang akan datang dan SWE-Bench yang hancur lebur, dengan angka-angka indah: AI teratas mencetak 93,9% di SWE-Bench, hampir secara otonom menutup isu nyata dari GitHub. Sepertinya sudah waktunya menghapus IDE dan belajar menjadi barista.

Tapi kemudian orang-orang dari Stanford dan Harvard merilis tolok ukur baru — ProgramBench. Dan itu secara publik mempermalukan semua model frontier yang ada.

Spoiler: hasil GPT-5.4, Claude Opus 4.7, dan Gemini 3.1 Pro — tepat 0%.

Apa intinya?
Seorang agen diberi biner yang sudah dikompilasi (dari jq biasa hingga monster seperti FFmpeg atau SQLite) dan dokumentasi.
Tugasnya — dari awal menulis basis kode yang 100% mereproduksi perilaku aslinya.

Yang lucu adalah bagaimana penulis harus membangun sandbox. Awalnya, ketika akses jaringan terbuka, neural network alih-alih "menulis kode" hanya mem-parsing --help, menemukan repositori yang diperlukan di GitHub, dan melakukan git clone. Ketika jaringan diputus, agen mencoba mengunduh sumber melalui manajer paket atau hanya menulis pembungkus bash di sekitar biner asli.

Untuk menghentikan lelucon ini, kontainer diisolasi sepenuhnya, dan biner diberi izin 111 (hanya eksekusi). Tidak ada pembacaan. Murni rekayasa balik black-box: beri input, lihat output, tulis implementasi dalam bahasa Turing-lengkap apa pun.

Dan kemudian hal yang menakjubkan terungkap. Satu hal — memberi neural network repositori siap pakai dengan arsitektur yang sudah dibangun, di mana ia hanya perlu menulis patch 50 baris. Dan hal lain — membuatnya merancang sebuah sistem.

Begitu AI kehilangan "kruk" berupa abstraksi siap pakai yang diciptakan oleh insinyur daging, ia runtuh. Ternyata model tidak bisa melakukan desain sistem, dekomposisi, dan pembangunan antarmuka. Mereka secara fisik tidak dapat menyimpan arsitektur dari awal di "kepala" mereka jika tidak diberi kerangka yang kaku. Dan ini terjadi meskipun model menghabiskan hingga $5000 per satu kali proses, tanpa mencapai batas konteks.

Singkatnya, kantong daging masih bisa bertarung. 💪