AWS og Unsloth viser, hvordan dynamisk kvantisering kan reducere lager, hukommelse og opstartstid for foundation models – og hvilke deploy‑mønstre på AWS der fungerer i drift. Gevinsterne er konkrete, men nøjagtighed og driftspraksis skal håndteres disciplineret.

En ny, teknisk tutorial demonstrerer en schema‑guided pipeline til kreditorbogholderi: fra syntetiske faktura‑PDF’er over valideret JSON til en samlet ledger. Pointen: det handler mindre om OCR og mere om dokumentforståelse med et stramt skema – og kode, der faktisk kan køre.

Google lancerer DiffusionGemma, en åben 26B MoE sprogmodel med tekst‑diffusion, som ifølge Google kan give markant højere throughput ved at generere tekstblokke parallelt. Tempoet rykker, men ikke alt andet — Google angiver selv lavere kvalitet end autoregressiv Gemma 4. Her er, hvad danske teams realistisk kan forvente i drift, og hvor gevinsten faktisk kan hentes.

Google DeepMind har udgivet QAT‑checkpoints til Gemma 4, inklusive Q4_0 og et nyt mobilformat, der presser hukommelsesforbruget markant ned. Det gør seriøse sprogmodeller mulige på kraftige telefoner og små lokale servere. For danske teams betyder det reelle edge‑piloter uden dyr cloud‑regning — men også nye krav til runtime, MLOps og kvalitetssikring.

Cohere lancerer Command A+, en open‑source 218B Sparse MoE‑model, som ifølge producenten kan køre agentiske enterprise‑workflows på så få som to H100‑GPU’er via aggressiv kvantisering. Vi gennemgår, hvad tallene betyder i drift, hvor faldgruberne ligger, og hvordan man tester uden at brænde budgettet.

Cohere frigiver Command A+, en 218 milliarder parameters Sparse MoE‑model, som åbne vægte på Hugging Face under Apache 2.0. Kvantisering til W4A4 og fokus på hardwareeffektivitet gør modellen mulig at køre på B200‑klasse GPU’er. For danske virksomheder handler det nu om styring, MLOps og governance — ikke kun modelvalg.

Unsloth, AutoAWQ og SGLang udgør en ny, effektiv stack til finjustering, kvantisering og drift af LLMs. Artiklen guider CTO’er, AI-udviklere og ML-ingeniører gennem tekniske fordele, integration og faldgruber – og viser, hvordan man kan spare både tid og penge i produktion.