Artikler med tag: speculative decoding

Liquid AI frigiver DSpark‑draftere til tre LFM2.5‑modeller og rapporterer op til 3,18× hurtigere dekodning uden ændret output under greedy decoding alene (kilde 3027, 3029). Gevinsterne ser lovende ud i de første tal, men kræver selvhosting, ekstra hukommelse og et licenstjek, før driftsteams ruller bredt ud (kilde 3027).

Nemotron 3.5 Lightning er en 30B MoE-model med 3B aktive parametre og 1M-token kontekst, frigivet sammen med NeMo Switchyard, et open source routingbibliotek til agent-arbejdsgange. NVIDIA siger, at Lightning kører op til 4× hurtigere end lignende modeller og 30% hurtigere end Qwen3.6 35B på 10.000 PinchBench-opgaver ved sammenlignelig nøjagtighed. For virksomheder kan kombinationen flytte arkitekturen fra én stor “frontier”-model til en modulær, billigere og lav-latens stak — men den kræver nye beslutninger om integration, governance og drift.

Meta frigiver Muse Glimmer som åbne vægte under Apache 2.0. En cirka 30B multimodal model, kvantiseret til ~4-bit og accelereret med block-level speculative decoding. Påstået kørsel på én forbruger‑GPU eller nyere Mac uden netværkskald. Her er hvad det betyder i praksis for drift, compliance og produktudvikling – og hvor usikkerhederne ligger.

DeepSeek har frigivet DSpark som open source under MIT-licens sammen med teknisk papir, checkpoints og DeepSpec-kode. Virksomheden hævder op til 85 procent hurtigere LLM-inference i visse opsætninger. Gevinsterne er mulige, men afhænger i praksis af kontrol over vægte, serving-stack, fallback-strategier og drift.

DSpark er en serving‑optimering til spekulativ decoding, ikke en ny model. DeepSeek frigiver samtidig MIT‑licenseret kode og to V4‑checkpoints med draft‑modul. Gevinsterne lyder markante, men stammer primært fra DeepSeeks egne målinger—virksomheder bør derfor teste i eget miljø, før der besluttes ændringer i drift.

Ifølge Google og MarkTechPost kan Multi‑Token Prediction for Gemma 4 give op til 3x hurtigere inference uden tab af kvalitet. Mekanismen bygger på speculative decoding med en hurtig drafter og en større verificeringsmodel. Uafhængige benchmarks er ikke fremlagt i kilderne, og “op til” skal læses som producentoplysning.