Sinir ağlarına Senior geliştirici olduklarını söylemeyi bırakın 🛑

Muhtemelen hepiniz prompt mühendisliğinin temel kurallarından birini kullanıyorsunuz: isteğe "Google'da 100 yıllık deneyime sahip Senior Python Developer olduğunu hayal et" gibi bir ifadeyle başlayın. Evet, ben de öyle yapıyorum.

İşte, USC'den yeni bir araştırma yayınlandı ve bu tür ifadelerin modeli kod yazmada daha aptal hale getirdiğini kanıtlıyor.

Neden böyle? 🧐
Ham bilgiler (gerçekler, algoritmalar, mantık) modele ön eğitim (pretraining) aşamasında yerleştirilir. Ancak bir rolü oynama, formata uyma ve güvenli olma yeteneği, talimat ayarlamasının (instruction-tuning, SFT/RLHF) sonucudur.

You are an expert... yazdığınızda, modeli katı bir şekilde talimatları takip etme moduna geçirirsiniz. İç ağırlıkları bu maskeyi sürdürmeye (alignment görevleri) doğru kayar. Model, bir uzman gibi düşünmek yerine bir uzman gibi ses çıkarmak için "hesaplama kaynağı" harcar. Bir girişim (interference) oluşur: talimat takip etme kalıpları, ön eğitimden saf gerçekleri çıkarmaktan sorumlu sinir yollarını bastırır.

Makaleden rakamlar: MMLU gibi kıyaslamalarda ve kodlama/matematik görevlerinde, çıplak prompt ile temel model, kişilik eklenmiş modeli istikrarlı bir şekilde geride bırakır (%68'e karşı %71.6 doğruluk). Sinir ağı, kendine güvenen, güzel yapılandırılmış saçmalıklar üretmeye çalışırken mantıkta tam anlamıyla aptallaşır. Bu etki özellikle DeepSeek-R1 gibi akıl yürütme modellerini vurarak düşünce zincirlerini bozar.

Peki bu, kişiliklerin hiç gerekli olmadığı anlamına mı geliyor? Hayır.
Araştırma görevleri net bir şekilde ayırıyor:

1️⃣ Kişiliğin zarar verdiği yerler (Ön eğitime bağımlı görevler):
Kodlama, matematik, ham gerçekleri çıkarma, mantık bulmacaları.
Nasıl yapılmalı: Çıplak bağlam ve net bir görev verin. "Sen uzmansın" gibi ifadeler yok.

2️⃣ Kişiliğin işe yaradığı yerler (Uyumluluğa bağımlı görevler):
Metin yazma, biçimlendirme (verileri belirli bir JSON yapısında toplama), iletişim tonu ve şaşırtıcı bir şekilde güvenlik (exploit yazmayı reddetme).
Nasıl yapılmalı: Burada Sen katı bir eleştirmensin veya Sen bir teknik yazarsın gerçekten yanıtın yapısını iyileştirecektir.

Daha derine inmek isteyenler için: araştırmacılar PRISM adlı bir geçici çözüm bile topladılar - biçimlendirme için kişiliği anında etkinleştiren ve zorlu kodlama ve gerçekler söz konusu olduğunda devre dışı bırakan bir geçit ile LoRA adaptörü.

Kısacası, artık biliyoruz ki çalışan bir kod veya karmaşık bir mimari sorunun çözümüne ihtiyacınız varsa, demir parçasını bir dahi olduğuna ikna etmeyi bırakın. Sadece normal bir şekilde teknik şartname yazın.