Anthropic merilis laporan The AI Fluency Index, di mana mereka menganalisis hampir 10 ribu sesi di Claude. Tujuannya adalah mengukur "literasi AI" pada dialog nyata.

Kami tertarik pada bagian tentang generasi artefak kompleks (ini 12,3% dari semua obrolan), karena termasuk juga generasi kode.

Dalam dialog semacam itu (dibandingkan dengan yang biasa), pengguna mengelola konteks dengan lebih ketat:
▫️ Memperjelas tujuan akhir (+14,7%)
▫️ Menetapkan format keluaran secara kaku (+14,5%)
▫️ Memberikan contoh dalam prompt (+13,4%)

Tapi semakin detail spesifikasi di awal, semakin buruk review di akhir. Begitu AI mengeluarkan cuplikan yang benar secara sintaksis dan dipoles, pemikiran kritis mati. Metrik dasar pengecekan fakta menurun:
▫️ 5,2% lebih jarang mencoba menemukan konteks yang terlewat.
▫️ 3,7% lebih jarang memeriksa fakta.
▫️ 3,1% lebih jarang meminta model menjelaskan logika di balik solusi.

Anthropic menjelaskannya seperti ini: artefak yang diformat dengan baik membuat kewaspadaan terlena. Dan mengingat AI paling sering salah justru pada tugas kompleks, mengabaikan review saat generasi adalah strategi yang meragukan.

Berdasarkan metrik ini, peneliti mengidentifikasi tiga pola yang membedakan pengguna mahir:

1️⃣ Iteratif. Dalam dialog di mana pengguna tidak mengambil jawaban pertama, tetapi memaksa AI untuk menyempurnakan hasil, logika model dibantah 5,6 kali lebih sering. Jawaban pertama selalu hanya draf.

2️⃣ Praanggapan bersalah pada keluaran sempurna. Jika kode yang dihasilkan terlihat sempurna — inilah momen utama untuk berhenti sejenak. Di sinilah kita perlu mengajukan pertanyaan tentang arsitektur dan kasus tepi yang mungkin diabaikan model.

3️⃣ Pengaturan meta-konteks. Hanya dalam 30% obrolan orang menetapkan batasan bagaimana AI harus berkomunikasi dengan mereka. Menambahkan instruksi seperti "Push back if my assumptions are wrong" atau "Walk me through your reasoning before giving me the answer" ke prompt secara drastis mengubah kualitas hasil.