Google DeepMind har frigivet Quantization‑Aware Training‑checkpoints til Gemma 4‑familien med Q4_0 som det brede format og et nyt mobilt QAT‑schema, der skærer hukommelsesfodaftrykket drastisk. Konsekvensen er, at flere workloads kan køre lokalt på consumer‑GPUer og telefoner. Ikke som demo. Som drift — hvis I gør hjemmearbejdet. Se tallene og detaljerne i Marktechposts gennemgang, som vi henviser til længere nede.
To ting rykker: lavere hukommelse pr. instans og et format trimmet til mobile acceleratorer. Spørgsmålet bliver ikke længere “kan vi loade modellen?”, men “hvilken runtime og kvalitet accepterer vi?” — og det sidste kræver egne målinger, for Google har ikke offentliggjort Gemma 4 QAT‑benchmarks endnu.
Hurtig faktaboks
Udgivet: QAT‑checkpoints til Gemma 4, inkl. Q4_0 og et nyt mobilt QAT‑schema målrettet on‑device. Formålet er lokal deployment på edge‑enheder og consumer‑GPUer. Udgivelsen følger Gemma 4‑lanceringen i april samt en 12B‑model to dage før QAT‑nyheden. Mangler: Ingen Gemma 4 QAT‑benchmark‑scores i annoncen. Kilde: Marktechpost.
- BF16 reference: E2B 9,6 GB, E4B 15 GB
- Q4_0 (4‑bit, QAT): E2B 3,2 GB, E4B 5 GB
- Mobil QAT‑schema: E2B omkring 1 GB; tekst‑only uden per‑layer embeddings under 1 GB
Kilde: Marktechpost. QAT ændrer ikke filstørrelsen i et givent quant‑format, men bevarer mere kvalitet ved samme størrelse ifølge Google. Som historik nævnes, at Gemma 3 med QAT reducerede Q4_0‑perplexity‑degradering i en tidligere llama.cpp‑eval med 54%. Det er forrige generation og ikke bevis for Gemma 4.
Hvad QAT gør — kort teknisk forklaring
Kvantisering sænker præcisionen på vægte for at komprimere modellen. Post‑Training Quantization (PTQ) sker efter træning og koster ofte kvalitet. QAT simulerer kvantisering under træning, så modellen lærer at kompensere for afrundingsstøj. Det giver typisk højere kvalitet end PTQ ved samme bit‑budget.
Vi har set det på kundedata: PTQ så fint ud i syntetiske tests, men kollapsede i domænesprog. QAT løftede modellen til “brugbar” — stadig med skarpe kanter, men brugbar.
De hårde tal
Tre niveauer for E2B og E4B: BF16 som reference (9,6 GB for E2B, 15 GB for E4B). Q4_0 QAT på 3,2 GB for E2B og 5 GB for E4B. Det nye mobile QAT‑schema bringer E2B ned omkring 1 GB, og tekst‑only uden per‑layer embeddings kommer under 1 GB. QAT i sig selv krymper ikke filstørrelsen for Q4_0 sammenlignet med PTQ — gevinsten er kvalitet pr. bit.
Oversat til virkelighed: 9,6 GB kræver en seriøs GPU. 3,2–5 GB åbner for consumer‑GPUer og små lokale servere. Omkring 1 GB gør moderne telefoner og små edge‑bokse interessante. Men uden Gemma 4‑benchmarks er konklusioner om endelig kvalitet forbeholdne — mål selv på egne datasæt og målplatforme.
Hvad det nye mobile schema betyder i praksis
Google beskriver fire greb: statiske aktiveringer, channel‑wise kvantisering, målrettet 2‑bit på token‑genererende lag samt optimering af embedding og KV‑cache. Tilsammen sænker de peak‑RAM, matcher mobile NPUers datapaths og koncentrerer højere præcision dér, hvor det batter mest.
Det er et runtime‑krav, ikke bare en vægtfil: skal jeres accelerator kunne channel‑wise quant? Understøtter inferensstakken statiske aktiveringer og mixede bit‑bredder uden at falde tilbage til CPU? Og bliver KV‑cachen faktisk mindre ved jeres sekvenslængder — eller flytter flaskehalsen til memory‑båndbredde? Her er mange “afhænger af”. Især på telefoner.
Praktiske konsekvenser for danske virksomheder
Vi ser tre typiske spor i samtaler lige nu, uden at gøre dem til skabeloner:
- Telefonnære assistenter til interne flows. Opgaver som hurtige udkast, søg i afdelings‑noter og små tekstautomatiseringer — lokalt, uden cloud‑tur. Latens falder, datarod bliver på enheden. Til gengæld stiger kravene til mobil‑CI og test på rigtig hardware.
- Lokale servere med compliancekrav. E2B i Q4_0 på en consumer‑GPU i maskinrummet kan være nok til at få sagsbehandler‑ eller notatflows i luften uden at sende data ud. Det kræver MLOps‑disciplin og en klar fallback‑vej.
- Edge‑inference for pris. Volumen‑tekstopgaver bliver mere forudsigelige økonomisk. Kompenser med gode opdateringsrutiner og kvalitetstjek, ellers æder regressionsarbejde besparelsen.
Snillds vurdering: QAT‑checkpoints gør lokale piloter realistiske nu. Men kvaliteten for Gemma 4 er ikke dokumenteret i officielle benchmarks endnu — test på egne data, ellers risikerer I at optimere i blinde.
Implementerings‑checkliste
Inden I ruller noget ud, så prioriter denne rækkefølge:
- Vælg format efter hardware. Q4_0 til laptop eller consumer‑GPU. Mobil‑schema til telefoner og små edge‑enheder.
- Mål kvalitet på egne benchmarks. Domænespecifik eval, hold‑out, enkelte “worst‑case”‑prompter. Gem baseline.
- Læg en QAT‑finetuning‑plan. Dataudtræk, syntetiske augmenteringer, og sammenligning mod PTQ og BF16.
- Byg MLOps‑grundlag. Versionsstyring af checkpoints, reproducerbar træning, artefakt‑signering og promotionsflow.
- Valider runtime på målhardware. Integrationstest, peak‑RAM, throttling, cold‑start og stabilitet ved mixede præcisioner.
- Overvåg i drift. Regressionsalarmer, latency‑percentiler, fejltyper. Gør rollback enkelt og hurtigt.
Praktisk arbejdsgang hos os: start på lokal server med consumer‑GPU for hurtig iteration, flyt derefter til repræsentativ mobil hardware. Vi måler altid tre ting først: latency, peak‑RAM og en simpel kvalitetsmetrik på domænedata. Ingen hemmeligheder her.
Begrænsninger og åbne spørgsmål
Der mangler dokumentation. Google har ikke frigivet Gemma 4 QAT‑benchmarks i annoncen. Vi mangler tal for kvalitet, latency og energi på målplatforme. Licens og kommercielle vilkår bør tjekkes i de officielle repos, før I låser planer. Link til Marktechpost ligger i bilaget — følg videre derfra til de officielle artefakter.
Hardwarestøtten er også et åbent punkt. Hvor mange mobile acceleratorer kører reelt channel‑wise quant og målrettet 2‑bit i de rigtige lag via Android NN‑API, Apple Neural Engine eller vendor‑SDKer? Offentlige dokumenter er fragmenterede. Multimodalt? Tekst‑only ser slankt ud på hukommelse, men for audio og vision er præstation og memory uafklaret i materialet, vi har set.
Teknisk dybde og hvorfor QAT typisk giver bedre resultater end PTQ
Under QAT støjer man bevidst modellen med kvantisering under træning. Gradienterne lærer at kompensere for fejl fra lavere bit. PTQ forsøger derimod at pakke en færdig model ned efterfølgende — tabet bliver ofte større. Det er mekanikken, ikke et løfte om bestemte Gemma 4‑tal.
Som pejlemærke nævnes i Marktechpost, at Gemma 3 med QAT reducerede Q4_0‑perplexity‑faldet i en llama.cpp‑eval med 54%. Det er forrige generation. Tag det som retning, ikke som konklusion for Gemma 4.
Snillds erfaring fra kanten
Tre ud af fire lokale deploys, vi har fulgt det seneste år, strandede først på hukommelse, ikke compute. En kundes maskinrum i Glostrup ramte et 8 GB‑loft igen og igen. PTQ holdt ikke kvaliteten. Med QAT kom vi i mål på en smallere consumer‑GPU. Ikke perfekt, men godt nok til at åbne et pilotvindue.
Vi planlægger at prøve Gemma 4 QAT på en aktuel kundecase på en 12 GB consumer‑GPU og en moderne ARM‑telefon. Vi måler latency p50/p95, peak‑RAM og en intern domænescore. Bemærk: Vi bruger vores egne data og rapporterer ikke som officielle benchmarks. Når resultaterne er klar, lægger vi et kort notat på vores nyhedsside, så man kan følge med.
Konsekvenser for produkt og drift
Workflows ændrer sig. CI dækker også modelkvalitet. I får brug for integrationstest på målhardware, ikke kun simulator. Rollback skal være hurtigt ved kvalitetsregressioner. Sikkerhed: signér modeller, lås runtime‑konfigurationer, log adgang.
Hvem skal med? ML til finetuning og eval. Mobile/embedded til runtime og batteri. Infra til build‑systemer og observability. Compliance til dataflow og logpolitik. Uden det hold er en QAT‑fil bare en fil.
Markedsperspektiv
I forhold til leverandører, der holder sig til PTQ eller cloud‑first, lægger Google pres på on‑device med et egentligt mobil‑schema. Det er det særlige. Google risikerer at love for bred hardwarekompatibilitet — accelerator‑støtten er ujævn — men retningen er rigtig. Forskellen mellem “kvantiseret” og “kvantiseret på en måde hardwaren faktisk kører hurtigt” er stor i praksis.
Vi kan lide det her fokus. Mindre hype. Mere håndværk.
Konklusion
Gemma 4 QAT‑checkpoints gør lokal inferens realistisk på fornuftig hardware. Memory‑tallene er stærke, jf. Marktechpost. Kvalitet og ydeevne på jeres platforme er ubesvarede, til I har målt dem selv. Vores råd: kør et snævert pilot, mål på egne data, og sæt tid af til MLOps. Vi tester selv i næste uge og lægger en kort opdatering på snilld.dk/nyheder, også når noget driller første gang.
Bilag og videre læsning
- Marktechpost: Google DeepMind Releases Gemma 4 QAT Checkpoints: Q4_0 and a New Mobile Format Cut On-Device Memory
- Snillds interne brief: vurderinger og anbefalinger til edge‑piloter
- MIT SERC: et kort perspektiv på menneskelig governance i udrulning
