Kürzlich haben wir die Architektur des Agenten MemPalace analysiert, der versprach, das RAG-Spiel zu revolutionieren, beeindruckende Metriken lieferte und mit einem innovativen "Gedächtnispalast" der Hollywood-Schauspielerin prahlte.

Nun, unabhängige Prüfer und die Community haben die Quelltexte offengelegt. Spoiler: Wunder gibt es nicht, und Open-Source-Marketing ist endgültig zu Scharlatanerie mutiert 🤡

So werden heute "Star"-KI-Projekte gemacht.

🕵️‍♂️ Drama hinter den Kulissen
Wie auf X aufgedeckt, ist der Co-Autor des Projekts, Ben Sigman, ein Crypto-Gründer, dessen Repositories zu 80% aus Bitcoin-Skripten bestehen. Den Code von MemPalace und die Benchmarks schrieb ein angestellter Entwickler namens Lu, der weder in den Co-Autoren noch in der README auftaucht. Die gesamte Git-Historie wurde platt zu einem einzigen Commit zusammengequetscht und auf das Konto von Milla Jovovich übertragen (die in ihrer gesamten Geschichte 2 aktive Tage auf GitHub hat).

Aber Marketing ist das eine. Was ist mit den Ergebnissen?

Riss zwischen README und Realität
Spezialisten für agentisches Gedächtnis führten ein vollständiges Audit durch und eröffneten ein Issue. Es stellte sich heraus, dass die Projektdokumentation eine Sammlung von Märchen der Gebrüder Grimm ist:

1️⃣ "96,6% bei LongMemEval"
Dies wurde als Verdienst ihres "Gedächtnispalastes" präsentiert. In Wirklichkeit wurde dieser Score im Raw-Modus erzielt – also bei der Suche im rohen, unkomprimierten Text "out of the box" in ChromaDB. Die Architektur von Räumen und Hallen wurde dort nicht einmal verwendet. Sie haben einfach die Standard-Embeddings von ChromaDB gemessen und als ihre Innovation ausgegeben.

2️⃣ "30-fache verlustfreie Kompression" (AAAK)
Das ist überhaupt keine Kompression. Es ist ein erbärmliches Regex-Skript, das Sätze einfach auf 55 Zeichen kürzt. Den ursprünglichen Text kann man daraus nicht wiederherstellen (lossy-Algorithmus). Und wissen Sie, wie sie Token gezählt haben, um die 30-fache Kompression zu behaupten? Durch einen Hardcode len(text) // 3.
Übrigens fällt bei aktivierter "Kompression" der Score in den Benchmarks von 96,6% auf 84,2%.

3️⃣ "Automatische Widerspruchserkennung"
Im Code knowledge_graph.py existiert sie einfach nicht. Fakten werden stumpf in einer lokalen SQLite-Datenbank abgelegt.

4️⃣ "+34% Boost durch die Palastarchitektur"
Das ist eine einfache Filterung nach Metadaten (wenn wir die Suche auf einen bestimmten wing oder room eingrenzen). Eine Standardfunktion jeder Vektordatenbank seit Urzeiten, kein Durchbruch im RAG.

🏳️ Reue
Als die Sache brenzlig wurde, veröffentlichten die Autoren ein Update im Repository. "Entschuldigung, wir haben Token falsch gezählt, die Kompression ist tatsächlich verlustbehaftet, die Widerspruchserkennung ist noch nicht angeschlossen, und die Metriken haben wir ein wenig beschönigt."
"Danke für die brutale und ehrliche Kritik", schrieben sie. Kein Wunder, wenn die Community Sie bei der Manipulation von Benchmarks erwischt hat.

Standardmethoden der ChromaDB-Bibliothek in eine hübsche Metapher von "Gedächtnispalästen" zu verpacken, mit einem prominenten Gesicht zu würzen und eine Revolution zu behaupten – das macht der KI-Hype so.