Récemment, nous avons analysé l'architecture de l'agent MemPalace, qui promettait de révolutionner le RAG, affichait des métriques impressionnantes et se vantait d'un innovant "Palais de la Mémoire" créé par une actrice hollywoodienne.

Eh bien, des réviseurs indépendants et la communauté ont découvert le code source. Spoiler : les miracles n'existent pas, et le marketing open-source a définitivement muté en charlatanisme 🤡

Voici comment se font aujourd'hui les projets AI "stars".

🕵️‍♂️ Drame en coulisses
Comme l'a justement déterré sur X, le co-auteur du projet Ben Sigman est un fondateur crypto dont les dépôts sont composés à 80% de scripts Bitcoin. Le code de MemPalace et les benchmarks ont été écrits par un développeur salarié, Lu, qui n'apparaît ni comme co-auteur ni dans le README. Tout l'historique git a été stupidement compressé en un seul commit et réécrit sur le compte de Milla Jovovich (qui a 2 jours d'activité sur GitHub de toute son histoire).

Mais le marketing, c'est une chose. Et les résultats réels ?

Rupture entre le README et la réalité
Des spécialistes de la mémoire agentique ont réalisé un audit complet et ont ouvert un issue, et il s'est avéré que la documentation du projet est un recueil de contes des frères Grimm :

1️⃣ "96,6% sur LongMemEval"
Cela était présenté comme un mérite de leur "Palais de la Mémoire". En réalité, ce score a été obtenu en mode raw — c'est-à-dire en recherchant dans le texte brut, non compressé "prêt à l'emploi" dans ChromaDB. L'architecture des salles et des halls n'a même pas été utilisée. Ils ont simplement mesuré les embeddings par défaut de ChromaDB et les ont présentés comme leur innovation.

2️⃣ "Compression 30x sans perte" (AAAK)
Ce n'est pas du tout une compression. C'est un script minable basé sur des expressions régulières qui se contente de tronquer les phrases à 55 caractères. Il est impossible de reconstruire le texte original à partir de cela (algorithme avec perte). Et savez-vous comment ils ont compté les tokens pour annoncer une compression 30x ? Via un code en dur len(text) // 3.
D'ailleurs, lorsque cette "compression" est activée, le score dans les benchmarks chute de 96,6% à 84,2%.

3️⃣ "Détection automatique des contradictions"
Dans le code knowledge_graph.py, elle n'existe tout simplement pas. Les faits sont bêtement stockés dans une base SQLite locale.

4️⃣ "+34% de boost grâce à l'architecture du Palais"
C'est un simple filtrage par métadonnées (lorsque nous restreignons la recherche à une wing ou room spécifique). Une fonctionnalité standard de toute base vectorielle depuis des lustres, pas une percée en RAG.

🏳️ Repentir
Quand l'odeur est devenue suspecte, les auteurs ont publié une mise à jour dans le dépôt. "Désolés, nous avons mal compté les tokens, la compression est en fait avec perte, la détection des contradictions n'est pas encore connectée, et nous avons un peu embelli les métriques".
"Merci pour la critique brutale et honnête", ont-ils écrit. Et pour cause, quand la communauté vous prend la main dans le sac pour avoir truqué les benchmarks.

Envelopper les méthodes standard de la bibliothèque ChromaDB dans une belle métaphore des "Palais de la Mémoire", ajouter un visage médiatique et annoncer une révolution — voilà ce que fait le battage médiatique autour de l'IA.