Geçenlerde incelemiştik RAG oyununu değiştirme vaadiyle çıkan, etkileyici metrikler sergileyen ve Hollywood oyuncusunun yenilikçi "Bellek Sarayı" ile övünen MemPalace ajanının mimarisini.

İşte, bağımsız incelemeciler ve topluluk kaynak kodları ortaya çıkardı. Spoiler: Mucize diye bir şey yok ve açık kaynak pazarlamacılığı sonunda bilgi çingeneliğine dönüştü 🤡

İşte günümüzde "yıldız" AI projeleri böyle yapılıyor.

🕵️‍♂️ Kulislerdeki Dram
X'te ortaya çıkarıldığı gibi, projenin ortak yazarı Ben Sigman, depolarının %80'i bitcoin betiklerinden oluşan bir kripto kurucusu. MemPalace kodunu ve kıyaslamaları, ne ortak yazarlar arasında ne de README'de adı geçen kiralık geliştirici Lu yazdı. Tüm git geçmişi tek bir commit'e sıkıştırıldı ve Milla Jovovich'in hesabına (GitHub'da tüm tarihi boyunca yalnızca 2 aktif günü olan) aktarıldı.

Ama pazarlama sorun değil. Peki sonuçlar gerçekte ne durumda?

README ile Gerçeklik Arasındaki Uçurum
Ajan bellek uzmanları kapsamlı bir denetim yaptı ve bir issue açtı; proje dokümantasyonunun Grimm Kardeşler masallarından oluşan bir derleme olduğu ortaya çıktı:

1️⃣ "LongMemEval'de %96.6"
Bu, onların "Bellek Sarayı"nın başarısı olarak sunuldu. Oysa bu puan, ChromaDB'deki ham, sıkıştırılmamış metin üzerinde "kutudan çıktığı gibi" arama yapılarak elde edildi. Oda ve salon mimarisi kullanılmadı bile. Sadece ChromaDB'nin varsayılan gömme vektörlerini ölçüp kendi yenilikleri olarak sundular.

2️⃣ "Kayıpsız 30 kat sıkıştırma" (AAAK)
Bu bir sıkıştırma değil. Cümleleri 55 karaktere kırpan düzenli ifadelerle yapılmış zavallı bir betik. Orijinal metin bundan geri getirilemez (kayıplı algoritma). 30 kat sıkıştırma iddiası için token'ları nasıl hesapladılar biliyor musunuz? len(text) // 3 sabit kodlamasıyla.
Bu arada, bu "sıkıştırma" etkinleştirildiğinde kıyaslama puanı %96.6'dan %84.2'ye düşüyor.

3️⃣ "Otomatik Çelişki Tespiti"
knowledge_graph.py kodunda bu özellik mevcut değil. Gerçekler basitçe yerel bir SQLite veritabanında depolanıyor.

4️⃣ "Saray Mimarisi ile %34 Artış"
Bu, belirli bir wing veya room için aramayı daraltan sıradan bir metaveri filtresi. Kral Günlerinden beri herhangi bir vektör veritabanının standart bir özelliği, RAG'da bir atılım değil.

🏳️ Tövbe
İşler kızışınca yazarlar depoda bir güncelleme yayınladı. "Özür dileriz, token'ları yanlış hesaplamışız, sıkıştırma aslında kayıplı, çelişki tespiti henüz bağlı değil ve metrikleri biraz süslemişiz."
"Acımasız ve dürüst eleştirileriniz için teşekkürler", diye yazdılar. Tabii öyle, topluluk sizi kıyaslamalarda hile yaparken yakalayınca.

ChromaDB kütüphanesinin standart yöntemlerini güzel bir "Akıl Sarayı" metaforuna sarmak, medyatik bir yüzle tatlandırmak ve devrim olduğunu iddia etmek işte AI hype'ının yaptığı şey.