Google Research, DeepMind et NYU ont présenté TurboQuant, et cela pourrait être l'un des travaux d'infrastructure les plus importants de l'année en IA.

Sur le papier, cela ne semble pas très excitant : quantification vectorielle, compression de vecteurs de haute dimension, garanties théoriques. En pratique, il s'agit de deux choses très coûteuses : le KV-cache des grands modèles de langage et la recherche vectorielle.

Dans les deux cas, le problème est le même : compresser les données autant que possible sans dégrader la géométrie des vecteurs, c'est-à-dire les distances et les produits scalaires. Si on les dégrade, des problèmes apparaissent avec l'attention, le retrieval, le classement et la qualité des réponses du modèle.

C'est là que TurboQuant intervient.

Les auteurs affirment que leur méthode approche presque la limite théorique du taux de distorsion. En termes simples, la limite de la qualité de compression possible pour ces vecteurs à un nombre de bits donné. Pour un travail académique, cette affirmation est déjà forte.

La plupart des schémas pratiques présentent un compromis classique : soit un apprentissage hors ligne lourd, une calibration et des codebooks, soit une méthode rapide et pratique pour l'en ligne, mais une qualité de compression médiocre. TurboQuant tente de déplacer ce compromis.

De plus, le problème ne se limite pas à la perte de qualité. Google, dans son blog, mentionne un autre inconvénient de la quantification vectorielle classique : le surcoût mémoire. On économise des bits, mais on doit ensuite dépenser une partie de ces économies pour stocker les constantes de quantification en pleine précision pour de petits blocs de données. Selon eux, ce surcoût peut ajouter 1 à 2 bits par nombre. Une partie du gain est donc simplement consommée par la charge administrative.

Dans ce contexte, TurboQuant semble être une tentative de résoudre l'ensemble des problèmes : réduire la mémoire, éliminer le surcoût inutile, ne pas nécessiter d'apprentissage ou de fine-tuning, et ne pas dégrader les tâches en aval.

Il est important de noter que l'article ne se limite pas à la MSE. Pour les modèles modernes, cela ne suffit pas. Dans l'attention et le retrieval, il est crucial de préserver le produit scalaire. Les auteurs montrent directement qu'un quantificateur optimisé uniquement pour la MSE peut donner une estimation biaisée du produit scalaire. C'est pourquoi ils proposent un schéma en deux étapes : d'abord une compression principale, puis une correction du résidu sur 1 bit via QJL pour éliminer le biais.

En termes simples, l'idée est la suivante : compresser un vecteur ne suffit pas. Il faut le faire de manière à ce que le modèle ne commence pas à penser un peu différemment après.

Les résultats annoncés sont impressionnants. Dans l'article, les auteurs indiquent que pour le KV-cache, ils atteignent une neutralité de qualité à 3,5 bits par canal et seulement une légère dégradation à 2,5 bits. Dans Needle-in-a-Haystack, selon leurs données, TurboQuant préserve la qualité du modèle en pleine précision avec une compression 4x. Sur LongBench, la version à 3,5 bits est pratiquement au même niveau que le cache complet sur Llama-3.1-8B-Instruct.

Mais le blog de Google contient peut-être une affirmation encore plus importante. Ils soulignent que TurboQuant peut compresser le KV-cache jusqu'à 3 bits sans apprentissage ni fine-tuning, et sans perte de qualité sur leurs tests. De plus, ils affirment que TurboQuant en 4 bits offre jusqu'à 8x d'accélération dans le calcul des logits d'attention sur H100 par rapport aux clés non quantifiées en 32 bits.

C'est une discussion directe sur le coût et la vitesse de serving.

La partie sur la recherche vectorielle est tout aussi intéressante. Les auteurs affirment que TurboQuant surpasse Product Quantization et RabitQ en termes de recall, et que le temps d'indexation est presque nul. Pour les systèmes qui doivent stocker et rechercher dans d'énormes index d'embeddings, cela représente potentiellement de très grosses économies.

Bien sûr, il ne faut pas perdre la tête. Il s'agit d'une histoire avec des affirmations très fortes, donc la réplication externe est particulièrement importante. Des formulations comme zero accuracy loss, near-optimal distortion et up to 8x doivent toujours être vérifiées en fonction des détails d'implémentation, des baselines et des paramètres de l'expérience.

Mais en fin de compte, la nouvelle est vraiment importante.

Si la vérification externe confirme ne serait-ce qu'une grande partie de ce qui est annoncé, ce sera l'un des travaux d'infrastructure les plus importants en IA de ces derniers temps.


❗️❗️❗️❗️❗️❗️❗️❗️ / Non interdit en RF