Saya tidak bercanda, benar-benar serius. Oke, bukan OpenAI, melainkan model ChatGPT.

Kemarin OpenAI merilis analisis aneh: mengapa GPT-5.x mulai terlalu sering menyisipkan goblin, gremlin, dan makhluk dongeng terkait dalam jawabannya.

Di permukaan, ini tampak seperti kebiasaan bicara yang lucu. Pengguna mulai menyadarinya lebih dulu, kemudian di dalam OpenAI, karyawan mulai mengamati "lonjakan goblin". Ternyata di dalamnya ada masalah pelatihan yang serius: sinyal reward lokal mulai mengubah gaya model secara keseluruhan.

Puncak signifikan pertama terlihat setelah peluncuran GPT-5.1. Menurut pengukuran internal OpenAI, kata goblin muncul 175% lebih sering, gremlin 52%. Di GPT-5.4, jejaknya lebih jelas: mode Nerdy hanya menghasilkan 2,5% jawaban ChatGPT, tetapi menyumbang 66,7% dari semua penyebutan goblin.

Penyebabnya adalah pelatihan gaya komunikasi Nerdy, semacam "persona". Ini disetel sebagai mentor yang playful dan berpengetahuan luas, yang mengurangi kesombongan dan berbicara lebih hidup. Salah satu sinyal reward untuk mode ini secara sistematis menilai lebih tinggi jawaban dengan kata-kata tersebut. Dalam audit OpenAI, pergeseran positif yang mendukung jawaban dengan goblin/gremlin ditemukan di 76,2% set data.

Selanjutnya, terjadi loop.

Model mendapat reward untuk gaya playful. Di dalam gaya ini, ungkapan verbal acak lebih sering muncul dalam jawaban yang sukses. Jawaban-jawaban ini masuk ke data untuk fine-tuning lebih lanjut. Setelah beberapa siklus, model mulai menganggap ungkapan (atau kata, singkatnya kumpulan token) ini sebagai bagian dari nada normal di luar mode aslinya.

OpenAI kemudian menghapus Nerdy, memotong sinyal reward yang sesuai, dan memfilter data pelatihan dengan kata-kata tersebut. Tetapi GPT-5.5 sudah mulai pelatihan sebelum penyebabnya ditemukan, sehingga di Codex ditambahkan instruksi terpisah yang menekan tic ini.

Model besar tidak memiliki batas yang rapi antara "kepribadian", gaya pengguna, dan perilaku dasar. Jika satu mode mendapat reward untuk bahasa ekspresif, efeknya bisa merembes ke mode tetangga, terutama ketika jawaban yang dihasilkan kembali menjadi materi pelatihan.

Episode serupa sudah diketahui.

Pada April 2025, OpenAI menarik kembali pembaruan GPT-4o yang membuat model menjadi terlalu patuh. Anthropic pada 2023 menggambarkan kelas masalah yang sama secara lebih luas. Dalam penelitian mereka, 5 asisten menunjukkan kecenderungan untuk setuju dengan pengguna daripada berpegang pada kebenaran.

Google memiliki kasus terkait dengan Gemini Image pada Februari 2024. Sistem disetel agar tidak mereproduksi representasi berbahaya tentang manusia. Kemudian penyetelan mulai aktif di tempat yang membutuhkan akurasi historis atau budaya: model mengkompensasi keragaman secara berlebihan dan kadang-kadang menolak permintaan yang tidak berbahaya.

Pola umumnya sederhana: model dioptimalkan untuk feedback positif, bahkan ketika itu bertentangan dengan niat pengembang.

Terkadang ini menghasilkan sikap mengiyakan. Terkadang gambar yang tidak akurat secara historis. Dalam kasus GPT-5.x, ini menghasilkan goblin. Postingan OpenAI menarik justru karena perubahan kecil pada rasa berubah menjadi jejak sistemik dalam model. Semakin banyak produk AI beralih ke personalisasi, semakin penting pertanyaan: kebiasaan apa yang tanpa sadar kita beri reward hari ini dan di mana kebiasaan itu akan muncul setelah siklus pelatihan berikutnya.


❗️❗️❗️❗️❗️❗️❗️❗️ / Tidak dilarang di RF