Google Research, DeepMind und NYU haben TurboQuant vorgestellt, und das könnte sich als eine der wichtigsten Infrastrukturarbeiten des Jahres im Bereich KI erweisen.

Auf dem Papier sieht es nicht allzu aufregend aus: Vektorquantisierung, Kompression hochdimensionaler Vektoren, theoretische Garantien. In der Praxis geht es um zwei sehr teure Dinge: den KV-Cache großer Sprachmodelle und die Vektorsuche.

In beiden Fällen ist das alte Problem dasselbe. Man muss die Daten so stark wie möglich komprimieren, aber die Geometrie der Vektoren, also Abstände und Skalarprodukte, nicht beschädigen. Wenn man sie beschädigt, gibt es Probleme mit Attention, Retrieval, Ranking und der Antwortqualität des Modells.

Genau hier setzt TurboQuant an.

Die Autoren behaupten, dass ihre Methode nahe an die theoretische Grenze der Verzerrungsrate herankommt. Einfach ausgedrückt: an die Grenze dessen, wie gut solche Vektoren bei einer gegebenen Bitanzahl überhaupt komprimiert werden können. Für eine akademische Arbeit ist das bereits eine starke These.

Bei den meisten praktischen Verfahren gibt es hier einen alten Kompromiss. Entweder man benötigt ein aufwändiges Offline-Training, Kalibrierung und Codebücher, oder die Methode ist schnell und für den Online-Einsatz geeignet, aber die Kompressionsqualität ist mittelmäßig. TurboQuant versucht, diesen Kompromiss zu verschieben.

Dabei geht es nicht nur um den Qualitätsverlust. Google schreibt in seinem Blog gesondert über ein weiteres unangenehmes Detail der klassischen Vektorquantisierung: den Speicher-Overhead. Man spart zwar Bits, muss aber einen Teil dieser Ersparnis für die Speicherung der Quantisierungskonstanten in voller Genauigkeit für kleine Datenblöcke aufwenden. Ihrer Aussage nach kann ein solcher Overhead weitere 1-2 Bits pro Zahl hinzufügen. Ein Teil des Gewinns wird also einfach durch den Verwaltungsaufwand aufgefressen.

Vor diesem Hintergrund erscheint TurboQuant als Versuch, das gesamte Paket von Problemen auf einmal zu lösen: Speicher reduzieren, unnötigen Overhead beseitigen, kein Training oder Fine-Tuning erfordern und dabei die Downstream-Aufgaben nicht beeinträchtigen.

Besonders wichtig ist, dass das Paper nicht alles auf MSE reduziert. Für moderne Modelle reicht das nicht aus. Bei Attention und Retrieval ist es entscheidend, das innere Produkt zu erhalten. Die Autoren zeigen direkt, dass ein nur auf MSE optimierter Quantisierer eine verzerrte Schätzung des Skalarprodukts liefern kann. Daher haben sie ein zweistufiges Schema: zuerst die Hauptkompression, dann eine 1-Bit-Korrektur des Rests über QJL, um den Bias zu beseitigen.

In normale Sprache übersetzt, ist der Gedanke einfach: Es reicht nicht, den Vektor zu komprimieren. Man muss es so tun, dass das Modell danach nicht anfängt, ein wenig über etwas anderes nachzudenken.

Nach den angegebenen Ergebnissen sieht das Bild stark aus. Im Paper schreiben die Autoren, dass sie für den KV-Cache bei 3,5 Bit pro Kanal Quality Neutrality erreichen und bei 2,5 Bit nur eine geringe Verschlechterung. Im Needle-in-a-Haystack-Test behält TurboQuant laut ihren Daten die Qualität des Vollpräzisionsmodells bei 4-facher Kompression. Bei LongBench liegt die 3,5-Bit-Variante praktisch gleichauf mit dem vollständigen Cache auf Llama-3.1-8B-Instruct.

Aber im Google-Blog gibt es möglicherweise eine noch wichtigere Aussage. Dort betonen sie gesondert, dass TurboQuant den KV-Cache auf 3 Bit komprimieren kann, ohne Training und Fine-Tuning und ohne Qualitätseinbußen in ihren Tests. Darüber hinaus behaupten sie, dass 4-Bit-TurboQuant eine bis zu 8-fache Beschleunigung bei der Berechnung von Attention-Logits auf der H100 im Vergleich zu 32-Bit-unquantisierten Keys bietet.

Das ist eine direkte Aussage über Kosten und Geschwindigkeit des Servings.

Nicht weniger interessant ist der Teil über die Vektorsuche. Die Autoren behaupten, dass TurboQuant Product Quantization und RabitQ im Recall übertrifft, während die Indexierungszeit nahezu Null ist. Für Systeme, die riesige Embedding-Indizes speichern und durchsuchen müssen, sind das potenziell sehr große Einsparungen.

Dabei sollte man natürlich nicht den Kopf verlieren. Dies ist eine Geschichte mit sehr starken Behauptungen, daher ist eine externe Replikation besonders wichtig. Formulierungen wie zero accuracy loss, near-optimal distortion und up to 8x müssen immer anhand der Implementierungsdetails, der Baseline und der Experimenteinstellungen überprüft werden.

Aber unterm Strich sind die Neuigkeiten wirklich groß.

Wenn die externe Überprüfung zumindest einen Großteil des Behaupteten bestätigt, wird dies eine der wichtigsten Infrastrukturarbeiten im Bereich KI der letzten Zeit sein.


❗️❗️❗️❗️❗️❗️❗️❗️ / Nicht in der Russischen Föderation verboten