Berhenti Bilang ke AI Bahwa Mereka Developer Senior 🛑

Pasti kalian semua menggunakan salah satu aturan dasar prompt engineering: mulai permintaan dengan kalimat seperti "Bayangkan kamu adalah Senior Python Developer dengan 100 tahun pengalaman di Google". Ya, saya juga melakukannya.

Nah, baru-baru ini dirilis penelitian dari USC yang membuktikan bahwa kalimat seperti itu membuat model menjadi lebih bodoh dalam menulis kode.

Kenapa begitu? 🧐
Pengetahuan mentah (fakta, algoritma, logika) ditanamkan ke model pada tahap pretraining. Sedangkan kemampuan untuk memerankan peran, mengikuti format, dan menjadi aman adalah hasil dari instruction-tuning (SFT/RLHF).

Saat Anda menulis You are an expert..., Anda mengalihkan model ke mode kepatuhan instruksi yang ketat. Bobot internalnya bergeser ke arah mempertahankan topeng ini (tugas alignment). Model menghabiskan "sumber daya komputasi" untuk terdengar seperti seorang ahli, alih-alih berpikir seperti seorang ahli. Terjadi interferensi: pola instruction-following menekan jalur saraf yang bertanggung jawab untuk mengekstraksi fakta murni dari pretrain.

Angka dari paper: pada benchmark seperti MMLU dan tugas coding/matematika, model dasar dengan prompt kosong secara konsisten mengungguli model dengan persona yang ditambahkan (68% vs 71.6% akurasi). Jaringan saraf benar-benar menjadi lebih bodoh dalam logika, mencoba menghasilkan omong kosong yang percaya diri dan terstruktur dengan rapi. Efek ini terutama memukul model reasoning seperti DeepSeek-R1, merusak rantai penalaran mereka.

Apakah ini berarti persona tidak diperlukan sama sekali? Tidak.
Penelitian dengan jelas membagi tugas:

1️⃣ Di mana persona merugikan (Pretraining-dependent tasks):
Coding, matematika, ekstraksi fakta mentah, teka-teki logika.
Cara yang benar: Berikan konteks kosong dan tugas yang jelas. Tidak ada "kamu ahli".

2️⃣ Di mana persona berfungsi (Alignment-dependent tasks):
Menulis teks, pemformatan (mengumpulkan data ke dalam JSON dengan struktur tertentu), nada komunikasi, dan yang mengejutkan, safety (menolak menulis exploit).
Cara yang benar: Di sini Kamu adalah kritikus yang ketat atau Kamu adalah penulis teknis benar-benar akan meningkatkan struktur jawaban.

Bagi yang ingin mendalami lebih lanjut: para peneliti bahkan mengumpulkan solusi sementara PRISM — adaptor LoRA dengan gerbang yang mengaktifkan persona untuk pemformatan dan mematikannya saat berhadapan dengan coding keras dan fakta.

Intinya, sekarang kita tahu bahwa jika Anda membutuhkan kode yang berfungsi atau solusi untuk masalah arsitektur yang kompleks — berhentilah membujuk mesin bahwa ia jenius. Cukup tulis spesifikasi dengan normal.