Bagaimana Agen AI Menghasilkan Utang Teknis dalam Skala Industri 😬

Semua orang sibuk dengan tolok ukur seperti SWE-bench dan HumanEval, membuktikan bahwa jaringan saraf akan segera menggantikan pengembang. Masalahnya adalah metrik ini hanya mengevaluasi snapshot-programming. Beri tugas -> AI mengeluarkan PR -> tes hijau -> kemenangan, selesai.
Tapi di produksi nyata, menulis kode yang sekali lolos pipeline bahkan belum setengah dari pekerjaan. Rekayasa sejati adalah ketika kode Anda dapat dimodifikasi tanpa rasa sakit setahun kemudian. Dan di sinilah AI mulai gagal total.

Orang-orang dari Alibaba dan Sun Yat-sen University merilis makalah yang menjelaskan bagaimana mereka membuat agen tidak hanya menutup issue terisolasi tunggal, tetapi memelihara basis kode nyata dalam jangka panjang (dalam tolok ukur rata-rata 233 hari sejarah dan 71 commit per proyek).

Mereka menciptakan SWE-CI — tolok ukur pertama yang mengevaluasi bukan kemampuan AI untuk mengeluarkan potongan kode untuk menutup satu issue, tetapi kemampuannya untuk benar-benar memelihara proyek.
Alih-alih "lulus/gagal" yang bodoh, mereka memperkenalkan metrik EvoScore. Metrik ini menghukum utang teknis. Jika perbaikan Anda pada iterasi ke-3 membuat penambahan fitur baru pada iterasi ke-10 menjadi tidak mungkin — skor Anda jatuh ke jurang.

Untuk ini, mereka menjalankan loop CI pada dua agen:
1️⃣ Arsitek: melihat tes yang gagal (test gaps) dan menulis spek tingkat tinggi.
2️⃣ Programmer: mencoba menulis kode agar spek terpenuhi.
Dan seterusnya berulang.

Apa hasilnya?
🟠Tingkat zero-regression di dasar. Indikator stabilitas utama. Jika tes sebelumnya lulus, tetapi setelah commit Anda gagal — itu regresi. Jadi, sebagian besar LLM yang dipuji memiliki tingkat tanpa regresi di bawah 25%. Dengan kata lain, mencoba memperbaiki satu hal, mereka dalam 3 dari 4 kasus merusak apa yang sudah berfungsi. Hanya Claude Opus yang mampu melewati ambang 50%.
🟠Perencanaan strategis tidak ada. Model Kimi dan GLM (ya, orang Cina aktif mendorong LLM mereka) dioptimalkan untuk hasil cepat — mereka menghasilkan kode yang sangat baik saat itu, tetapi cepat tenggelam dalam warisan mereka sendiri dalam jangka panjang. Model DeepSeek dan GPT mencoba bermain jangka panjang, tetapi tetap tersandung.

Singkatnya, untuk saat ini jaringan saraf belum bisa melakukan "upaya sadar". Mereka beroperasi dengan probabilitas, bukan visi arsitektural. Beri agen waktu untuk memelihara proyek produksi selama enam bulan, dan dia akan mengubahnya menjadi monster spageti yang menakutkan untuk disentuh.