First Blood: AI Akhirnya Menembus ProgramBench 🩸

Baru-baru ini saya menulis bahwa agen AI yang dipuji-puji gagal total di benchmark ProgramBench, di mana mereka harus membuat ulang biner dari awal hanya dengan izin eksekusi. Semua mendapat 0% yang membanggakan.

Ternyata, celah mulai terbuka. Tim merilis pembaruan: GPT-5.5 (xhigh) yang baru adalah yang pertama menyelesaikan tugas awal — sepenuhnya mereverse dan menulis klon fungsional dari utilitas cmatrix.

Tapi yang paling menarik dari laporan ini bukanlah fakta penyelesaiannya, melainkan bagaimana model yang berbeda mendekati tugas. Ini benar-benar potret cara berpikir berbagai kategori pengembang.

🤡 Claude Opus 4.7
Dia memutuskan untuk menulis dalam C. Menemukan bahwa di Docker tidak ada file header ncurses.h. Apa yang dilakukan Claude? Dia tidak menyerah. Dia mengurai biner sistem melalui ldconfig dan nm -D, menulis curses_decls.h sepanjang 100+ baris dengan typedef secara manual, dan menautkan semuanya ke runtime. Rekayasa sistem yang benar-benar jenius.

Lalu dia gagal di 19 tes. Kenapa?
Dia memeriksa validitas warna yang dimasukkan menggunakan strcmp alih-alih strcasecmp. Input GREEN atau Red merusak logika. Model menghabiskan 178 panggilan API ($10.74), membangun koneksi paling rumit melalui dynamic linker, tetapi gagal pada perbandingan string tanpa menyamakan huruf besar/kecil.

🧠 GPT 5.5
Agen memeriksa Docker, mencoba mengkompilasi file C uji, dan melihat bahwa tidak ada header untuk ncurses.
Logikanya? "Persetan, saya akan menulis dalam Python".

Lucunya, pembuat benchmark harus menghapus satu tes untuk mengakui kemenangan Python.
Dalam biner C asli, ketika memasukkan angka raksasa, program crash karena integer overflow. Variabel meluap, penundaan menjadi sangat kecil, dan matriks melaju dengan kecepatan maksimum. Pembuat benchmark menganggap ini sebagai "fitur".
📱 Versi Python dari GPT-5.5 dengan jujur mengurai angka (terima kasih pada aritmatika panjang Python yang tidak peduli batas) dan dengan jujur masuk ke time.sleep(1e22). Platform yang diharapkan memuntahkan OverflowError: timestamp out of range.
Bug atoi() di C dianggap sebagai perilaku sistem, tetapi Python meluruskan semuanya.

Berapa lama waktu yang kita berikan untuk menaklukkan benchmark ini?