Baru-baru ini kami membahas arsitektur agen MemPalace, yang menjanjikan akan mengubah permainan RAG, meraih metrik keren, dan membanggakan "Istana Memori" inovatif dari aktris Hollywood.

Nah, reviewer independen dan komunitas telah membongkar kode sumbernya. Spoiler: keajaiban tidak ada, dan pemasaran open-source telah bermutasi menjadi penipuan informasi 🤡

Begini cara proyek AI "bintang" dibuat saat ini.

🕵️‍♂️ Drama di Balik Layar
Seperti yang terungkap di X, rekan penulis proyek Ben Sigman adalah pendiri kripto, yang repositorinya 80% terdiri dari skrip bitcoin. Kode MemPalace dan tolok ukur ditulis oleh pengembang bayaran Lu, yang tidak tercantum sebagai rekan penulis atau di README. Seluruh riwayat git diratakan menjadi satu komit dan ditulis ulang ke akun Milla Jovovich (yang hanya aktif 2 hari di GitHub sepanjang sejarah).

Tapi pemasaran tidak apa-apa. Lalu bagaimana dengan hasil sebenarnya?

Perbedaan Antara README dan Kenyataan
Para ahli memori agen melakukan audit lengkap dan membuat issue, dan ternyata dokumentasi proyek adalah kumpulan dongeng Grimm:

1️⃣ "96.6% pada LongMemEval"
Ini dipresentasikan sebagai pencapaian "Istana Memori" mereka. Kenyataannya, skor ini diperoleh dalam mode mentah — yaitu saat mencari teks mentah, tidak terkompresi "out of the box" di ChromaDB. Arsitektur ruangan dan aula bahkan tidak digunakan. Mereka hanya mengukur embedding default ChromaDB dan mengklaimnya sebagai inovasi mereka.

2️⃣ "Kompresi 30x tanpa kehilangan" (AAAK)
Ini sama sekali bukan kompresi. Ini adalah skrip regex jelek yang hanya memotong kalimat hingga 55 karakter. Teks asli tidak dapat dipulihkan dari ini (algoritma lossy). Dan tahukah Anda bagaimana mereka menghitung token untuk mengklaim kompresi 30x? Melalui hardcode len(text) // 3.
Omong-omong, saat "kompresi" ini diaktifkan, skor tolok ukur turun dari 96.6% menjadi 84.2%.

3️⃣ "Deteksi Kontradiksi Otomatis"
Dalam kode knowledge_graph.py, fitur ini tidak ada. Fakta hanya disimpan di SQLite lokal.

4️⃣ "Peningkatan +34% dari Arsitektur Istana"
Ini hanyalah pemfilteran metadata biasa (saat kita mempersempit pencarian ke wing atau room tertentu). Fitur standar dari basis data vektor mana pun sejak zaman dahulu, bukan terobosan dalam RAG.

🏳️ Pertobatan
Saat situasi mulai panas, para penulis merilis pembaruan di repositori. "Maaf, kami salah menghitung token, kompresi sebenarnya lossy, deteksi kontradiksi belum terhubung, dan metrik sedikit kami hiasi."
"Terima kasih atas kritik brutal dan jujur," tulis mereka. Tentu saja, ketika komunitas menangkap basah Anda memanipulasi tolok ukur.

Membungkus metode standar perpustakaan ChromaDB dalam metafora indah "Istana Pikiran", menambahkan wajah media, dan mengklaim revolusi — itulah yang dilakukan oleh hype AI yang memberi kehidupan.