Google offentliggjorde TurboQuant-papiret den 25. marts. Pr. 7. april skrev Alan West, at der allerede fandtes fem uafhængige implementationer fra fællesskabet. Han nævnte også en llama.cpp-fork, som kørte 104B-parameter modeller på en MacBook, og en aktiv integrationsindsats i vLLM. Google havde på det tidspunkt ikke frigivet officiel kode.

TurboQuant beskrives som en metode til at komprimere KV-cache i transformerbaserede modeller under inference. Det rammer et meget konkret problem: KV-cache æder hukommelse, når konteksten bliver lang. Derfor kom der fart på hurtigt.

Hvad papiret hævder

I Wests gengivelse af papiret ligger den kvalitetsneutrale komprimering omkring 3,5 bit pr. element. Papiret angiver også mindst 6x hukommelsesreduktion og op til 8x hastighedsforbedring i attention-beregning på H100-GPUer. Samme gengivelse nævner nul nøjagtighedstab ved det optimale punkt. Det er papirets egne resultater.

Metoden beskrives også som træningsfri og data-oblivious. Det vil sige, at modellen ikke skal retrænes, og at der ikke kræves kalibreringsdata. Den lave barriere for at prøve det af er nok en væsentlig del af forklaringen på den hurtige interesse.

Det folk byggede med det samme

Blandt de tidlige implementationer fremhæver West tonbistudio/turboquant-pytorch. Det var den første community-implementation og en PyTorch-referenceimplementation med fokus på korrekthed frem for performance.

West peger også på en llama.cpp-fork, som kørte 104B-parameter modeller på en MacBook. Han beskriver desuden en aktiv integrationsindsats i vLLM. Med llama.cpp og vLLM rykkede TurboQuant fra papir til praktiske forsøg.

Og så kom korrektionen

West beskriver, at maintainere bag tonbistudio/turboquant-pytorch senere oplyste, at en fejl havde oppustet de tidlige resultater. Efter rettelsen stod det klarere, at 3-bit key quantization forringer generationskvaliteten i nogle konfigurationer.

Det ændrer ikke ved, at tempoet var højt. Men communityet gjorde ikke kun metoden brugbar hurtigt. Det fandt også dens tidlige begrænsninger hurtigt.

Kilder

• Google Dropped TurboQuant Two Weeks Ago. The Community Already Made It Usable.
• Powered by Algolia Search