Recentemente analisamos a arquitetura do agente MemPalace, que prometia revolucionar o jogo do RAG, alcançava métricas impressionantes e se gabava de um inovador "Palácio da Memória" de uma atriz de Hollywood.

Pois bem, revisores independentes e a comunidade vasculharam o código-fonte. Spoiler: milagres não existem, e o marketing open-source finalmente mutou para charlatanismo 🤡

Veja como os projetos AI "estrelares" são feitos atualmente.

🕵️‍♂️ Drama nos bastidores
Como foi descoberto no X, o coautor do projeto Ben Sigman é um fundador de criptomoedas cujos repositórios são 80% scripts de Bitcoin. O código do MemPalace e os benchmarks foram escritos por um desenvolvedor contratado, Lu, que não aparece nem como coautor nem no README. Todo o histórico do git foi achatado em um único commit e reescrito na conta de Milla Jovovich (que tem 2 dias ativos no GitHub em toda a história).

Mas o marketing é só uma parte. E quanto aos resultados reais?

Diferença entre README e realidade
Especialistas em memória de agentes fizeram uma auditoria completa e abriram uma issue, e descobriram que a documentação do projeto é uma coletânea de contos de fadas dos Irmãos Grimm:

1️⃣ "96,6% no LongMemEval"
Isso foi apresentado como mérito do seu "Palácio da Memória". Na verdade, essa pontuação foi obtida em modo raw — ou seja, pesquisando no texto bruto, não comprimido "de fábrica" no ChromaDB. A arquitetura de salas e câmaras nem foi usada. Eles simplesmente mediram os embeddings padrão do ChromaDB e os apresentaram como sua inovação.

2️⃣ "Compressão de 30x sem perdas" (AAAK)
Isso não é compressão. É um script pobre baseado em regex que simplesmente trunca frases em 55 caracteres. Não é possível restaurar o texto original a partir disso (algoritmo lossy). E sabe como eles calcularam os tokens para afirmar a compressão de 30x? Através de um hardcoded len(text) // 3.
A propósito, ao ativar essa "compressão", a pontuação nos benchmarks cai de 96,6% para 84,2%.

3️⃣ "Detecção automática de contradições"
No código knowledge_graph.py, isso simplesmente não existe. Os fatos são armazenados em um SQLite local.

4️⃣ "Aumento de 34% da arquitetura do Palácio"
Isso é apenas uma filtragem por metadados (quando restringimos a busca a uma wing ou room específica). Um recurso padrão de qualquer banco de dados vetorial desde os tempos do Rei Momo, não um avanço no RAG.

🏳️ Arrependimento
Quando o cheiro de queimado começou, os autores lançaram uma atualização no repositório. "Desculpe, calculamos os tokens incorretamente, a compressão é na verdade com perdas, a detecção de contradições ainda não está conectada, e as métricas foram um pouco embelezadas".
"Obrigado pela crítica brutal e honesta", escreveram. Claro, quando a comunidade te pega com a mão na botija manipulando benchmarks.

Envolver métodos padrão da biblioteca ChromaDB em uma bela metáfora de "Palácios da Mente", temperar com um rosto midiático e declarar uma revolução — eis o que o hype da IA faz.