Anthropic, Claude'daki yaklaşık 10 bin oturumu analiz eden AI Fluency Index raporunu yayınladı. Amaç, gerçek diyaloglar üzerinden "AI okuryazarlığını" ölçmek.

Bizi ilgilendiren kısım, karmaşık yapıtların üretimiyle ilgili bölüm (tüm sohbetlerin %12,3'ü), çünkü kod üretimi de buna dahil.

Bu tür diyaloglarda (sıradan olanlara kıyasla), kullanıcılar bağlamı çok daha sıkı yönetiyor:
▫️ Nihai hedefi netleştirme (+%14,7)
▫️ Çıktı formatını sıkıca belirleme (+%14,5)
▫️ Prompt'a örnekler ekleme (+%13,4)

Ancak girdideki şartname ne kadar detaylıysa, çıktıdaki inceleme o kadar zayıf oluyor. Yapay zeka sözdizimsel olarak doğru, cilalı bir snippet ürettiğinde eleştirel düşünme devre dışı kalıyor. Temel doğrulama metrikleri düşüyor:
▫️ Gözden kaçan bağlamı bulma girişimleri %5,2 daha az.
▫️ Gerçekleri kontrol etme %3,7 daha az.
▫️ Modelden çözümün altında yatan mantığı açıklamasını isteme %3,1 daha az.

Anthropic bunu şöyle açıklıyor: İyi biçimlendirilmiş bir yapıt, dikkati uyuşturur. Yapay zekanın en çok karmaşık görevlerde hata yaptığı düşünülürse, üretim anında incelemeyi ihmal etmek şüpheli bir stratejidir.

Bu metrikler temelinde araştırmacılar, ileri düzey kullanıcıları ayıran üç kalıp belirledi:

1️⃣ Yinelemelilik. Kullanıcının ilk yanıtı alıp bırakmadığı, yapay zekayı sonucu iyileştirmeye zorladığı diyaloglarda, modelin mantığına 5,6 kat daha sık itiraz ediliyor. İlk yanıt her zaman sadece bir taslaktır.

2️⃣ Mükemmel çıktının suçluluk karinesi. Üretilen kod kusursuz görünüyorsa, bu duraklama anıdır. İşte tam bu noktada, modelin göz ardı etmiş olabileceği mimari ve uç durumlarla ilgili sorular sorulmalıdır.

3️⃣ Meta-bağlam ayarı. Sohbetlerin yalnızca %30'unda insanlar, yapay zekanın onlarla tam olarak nasıl iletişim kurması gerektiğine dair çerçeve belirliyor. Prompt'a "Varsayımlarım yanlışsa karşı çık" veya "Cevabı vermeden önce bana mantığını adım adım anlat" gibi talimatlar eklemek, sonucun kalitesini kökten değiştiriyor.