4-bit slår fuldpræcision ifølge Multiverse
Multiverse Computing offentliggjorde 25. august 2026 en metode kaldet Quantization-Aware Healing. Hugging Face-bloggen formulerer det sådan: “a compressed, 4-bit model that outperforms its full-precision original… applied to a GPT-OSS 120B model compressed to 60B parameters and quantized to MXFP4, it produces a model that beats its own full-precision (bfloat16) version on 7 of 9 benchmarks.” Kilde. Unite.ai gengiver samme hovedpointer og dato her.
Normen i feltet er den modsatte: kvantisering og komprimering koster en smule nøjagtighed. Multiverse hævder et brud med den logik via et særskilt “healing”-trin efter komprimering og 4-bit-kvantisering. 4-bit er lavt, og billigt i VRAM og båndbredde. Påstanden er stor. Den skal kunne stå, når andre gentager forsøget.
Kort reproduktions-checkliste
- Frys en bfloat16-baseline (samme prompts, seeds og eval-suite som i 4-bit-testen).
- Kør én 4-bit-pipeline med MXFP4-support og log alle hyperparametre.
- Rapportér latency, throughput, omkostning pr. 1K tokens og fejltyper side om side.
- Lav en lille canary i produktion bag et feature flag.
Hvad QAH gør anderledes
Blogindlægget beskriver industripræmissen: “Most efficiency pipelines follow the same three steps: compress the architecture, quantize the compressed weights, then heal the damage.” Forskellen ligger i sidste trin. Om QAT skriver de: “It inserts fake-quantization operators into the forward pass and keeps fine-tuning… it can also become unstable if training continues too long past its best point.” QAH positioneres som en mere praktisk, stabil “healing”-opskrift efter både komprimering og kvantisering.
Opskriften er enkel at skrive, sværere at gøre robust: komprimer → kvantiser til MXFP4 → heal. De åbne spørgsmål er netop her: hvilke hyperparametre, hvilke data, hvor mange steps? Bloggen deler ikke fulde scripts i de tilgængelige uddrag, så uafhængig validering må vente på mere åben dokumentation.
Data og påstande – og hullerne
Ifølge Hugging Face-teksten er udgangspunktet GPT-OSS 120B, komprimeret til 60B og kvantiseret til 4-bit MXFP4. Resultatet: højere score end bfloat16 på 7 af 9 benchmarks. Unite.ai bekræfter rammen og datoen. Men listen over de 9 tests mangler, ligesom seeds og variance. Det gør det svært at vurdere, hvor robust forbedringen er. Multiverse bør offentliggøre den fulde benchmark-liste, aggregeringsmetode og konfigurationer. Indtil da er resultatet lovende, men ufuldstændigt dokumenteret.
Der loves også en praktisk effekt: “The 4-bit model ends up smaller, cheaper to run, and more accurate than the checkpoint it was quantized from.” Det er plausibelt, når VRAM falder fra ~120 GB (60B i bfloat16) til ~30 GB plus overhead (60B i 4-bit), men kræver runtime-støtte og gode kernels for at udløse gevinsten i praksis.
Hvor gevinsten typisk viser sig
Regnestykket ændrer sig især, når batch-størrelsen er den egentlige flaskehals. En 60B-model i 4-bit kan ofte holdes på ét 80 GB-kort (H100/A100), hvor bfloat16 vil tvinge model- eller tensor-parallel. Det løfter gennemløb, reducerer netværksoverhead og gør latency mere stabil ved længere kontekster (fx 8–16K tokens). Ved kortere prompts vinder man mest på højere samtidighed og bedre cache-fit. Alt afhænger af den konkrete workload og MXFP4-support i den valgte runtime (vLLM, TensorRT-LLM, Triton-kernels m.m.).
Pointen for indkøbere: færre GPU-timer og mulighed for simple topologier frem for komplekse multi-GPU setups. Det er ikke kun billigere. Det er også mindre driftsskrøbeligt.
MLOps-implikationer uden pynt
Hvis QAH viser sig stabilt, bliver “healing”-trinnet en faste del af pipeline-planen. Det kalder på:
- Versionerbarhed i træning og inferens (afhængigheder, docker-images, seeds).
- En eval-suite, der dækker både generiske benchmarks og jeres egne domænetests.
- Out-of-domain-validering for at fange distributionsskift tidligt.
- Regressionstests på sikkerhed (prompt injection, jailbreaks) og fairness.
- Produktionsovervågning på både kvalitet og latency, plus rollback der virker tirsdag kl. 14.
QAH er ikke et “engang og færdigt”-trin. Man må forvente hyppigere opdateringer og en disciplineret driftscyklus.
Risici der ikke bør ignoreres
Tre ting kan vælte kortene: 1) Overfitting i healing og tab af robusthed på kanter. 2) Ustabilitet, hvis finjusteringen køres forbi sit bedste punkt (Multiverse advarer selv om QATs følsomhed). 3) Governance: aggressiv kvantisering kan påvirke forklarbarhed og auditspor. Dertil kommer licensspørgsmålet: Unite.ai omtaler “GPT-OSS 120B”. Uden klar licens for checkpoints og data er kommerciel brug tåget. Det bør afklares tidligt i processen.
Dokumentationsspørgsmål til Multiverse
- Hvilke 9 benchmarks? Liste, scoring, seeds og variance.
- Healing-opsætning: læringsrate, optimizer, antal steps, regularisering.
- Datagrundlag for healing: kilder, filtrering og størrelse.
- Runtime-support: hvilke biblioteker kører MXFP4 effektivt i produktion (GPU/CPU)?
- Scripts/checkpoints: offentlig repo med konfigurationer til reproduktion.
- Licens/IP: kommercielle rettigheder til GPT-OSS-checkpoints og afledte modeller.
De svar er nødvendige, før man kan kalde resultaterne robuste.
Hvad uafhængig reproduktion bør indeholde
- En låst baseline i bfloat16 med identiske eval-protokoller.
- En standardiseret eval-suite besluttet før træning (gerne inkl. en intern domænetest).
- Tids- og compute-log for hele healing/kvantisering – ikke kun slutscore.
- Stress-tests på distribution shift og sikkerhed (red-teaming, jailbreak-robusthed).
- Fuld offentliggørelse af kode og konfigurationer.
Indtil det foreligger, bør tallene læses med faglig forsigtighed.
Hvornår QAH er værd at prøve først
QAH giver mest mening, når modellen allerede er komprimeret, og I vil helt ned i 4-bit. QAT kan være stærk, men den er ofte tung i drift og følsom for træningslængde. Distillation kan skære voldsomt i størrelse, men mister tit hale-evner, som nogle use cases lever af. Hvis målet er lavere TCO på relativt stor kapacitet, og I kan investere i et veldefineret healing-run, er QAH et naturligt førstevalg.
Er I derimod låst til stramme forklarbarhedskrav eller kræver ekstrem robusthed på niche-domæner, er en konservativ QAT- eller fuldpræcisionslinje ofte tryggere, indtil uafhængige QAH-replikationer er på plads.
Beslutningsliste til den næste uge
- Definér 5–7 faste evals (inkl. en intern domænetest) og frys dem.
- Opsæt en bfloat16-baseline og mål latency, throughput, omkostning pr. 1K tokens og fejltyper.
- Kør en 4-bit MXFP4-pipeline og dokumentér alle trin og hyperparametre.
- Sammenlign 1:1: samme prompts, seeds, batchning.
- Canary-udrulning bag feature flag med tæt monitorering.
- Tag stilling ud fra data: fortsæt healing, stop eller rul tilbage.
Man opdager først forskellen, når man sidder med det i hænderne.
