NVIDIA har løftet sløret for Nemotron-Labs-TwoTower, en diffusion-sprogmodel bygget oven på en prætrænet autoregressiv ryggrad og frigivet som åbne weights. Pointen er enkel: Token-for-token dekodning i klassiske AR-modeller sætter et loft for throughput, især ved længere svar. Ifølge de officielle tal holder TwoTower 98,7 procent af baseline-kvaliteten fra en AR-model og leverer 2,42 gange højere wall-clock gennemløb målt ved gamma 0,8, blokstørrelse S 16, på to H100-GPU’er i BF16. Lovende—men bundet til netop de betingelser.
Åbne weights under NVIDIA Nemotron Open Model License gør udgivelsen praktisk anvendelig: hent, kør lokalt, eksperimentér og byg integrationer uden at låse jer til en proprietær inference-stack. I et marked med hurtigt skiftende API’er er muligheden for egne målinger et reelt plus.
Hvad TwoTower ændrer teknisk
TwoTower bryder med den klassiske diffusion-opsætning, hvor ét netværk både repræsenterer tokens og denoiser støj. Her deles jobbet i to tårne: et frossent autoregressivt kontekstårn, der bevarer ryggradens repræsentationsstyrke og kausalitet, og et trænbar diffusion-denoiser-tårn, der iterativt forfiner en blok af maskerede tokens i parallel. Separationen er pointen: repræsentation i det ene, denoising i det andet.
Det centrale greb er, at denoiser-lag i tower to cross-attender lag-for-lag til kontekstårnets tilsvarende lag—ikke kun til sidste skjulte tilstand. Mamba-2-tilstande i denoiser seedes direkte fra kontekstårnet, og hvert lag tidsmoduleres via en lille adaLN-single blok. Det adresserer et velkendt problem i diffusion-LLM’er: at få nok kontekst og stabilitet ind i hvert denoising-trin uden at tabe tempo.
Sådan er modellen bygget
Ryggraden er Nemotron-3-Nano-30B-A3B, et hybridt backbone med Mamba-2, selvopmærksomhed og Mixture-of-Experts. Hvert tårn har 52 lag: 23 Mamba-2, 6 self-attention og 23 MoE-lag. MoE’en kører med 128 routable eksperter, hvor 6 aktiveres pr. routingbeslutning plus 2 delte eksperter. Derfor bliver “aktive parametre pr. token” væsentlige i drift.
Udgivelsen leverer et samlet checkpoint på omkring 60 milliarder parametre for begge tårne. De aktive parametre pr. token ligger omkring 3 milliarder pr. tårn. Ryggraden er prætrænet på cirka 25 billioner tokens, mens denoiser-tårnet er eftertrænet på cirka 2,1 billioner tokens. Kun denoiser trænes yderligere—AR-kontekstårnet holdes frossent—hvilket gør sammenligning på tværs af dekodingsvalg mere ligefrem.
Blockwise generering i praksis
TwoTower genererer i blokke. Hver blok starter som S maskerede tokens, denoiser forfiner blokken over T trin og committer den, hvorefter kontekstårnet opdaterer caches og Mamba-tilstande. Autoregressiv dekodning committer ét token ad gangen; her committer man flere tokens ad gangen og lægger finpudsningen i de sene trin. Det flytter arbejde fra sekventielle commits til mere parallel refinering.
Valget af gamma og blokstørrelse styrer tempo kontra kvalitet. Lavere gamma committer typisk flere tokens pr. step og øger throughput—med en pris i kvalitet. Det er en skyder, der bør tunes på egne workloads.
Tre dekodingsmodi fra samme checkpoint
Ét checkpoint kan køre i tre spor: fuld diffusion med to tårne, en mock-autoregressiv tilstand og ren autoregressiv dekodning. Den fleksibilitet gør A\/B-tests mere fair—samme vægte, samme tokenizer, forskellige dekodere.
Driftsmæssigt kan man starte med AR som baseline for kvalitet, måle TTFT og TTLT, og derpå teste diffusion på samme promptdistribution. Det bringer testene tættere på æbler-mod-æbler.
Benchmarks og forbehold
De officielle resultater er: 98,7 procent aggregeret kvalitetsretention i forhold til AR-baseline og 2,42× højere wall-clock gennemløb ved gamma 0,8, S 16, på 2×H100 i BF16. Under de betingelser. På tværs af sprog- og videnbenchmarks ligger scoren omkring et procentpoint fra AR, mens kode og matematik falder lidt mere. Commonsense og flersprogede sæt ligger på linje eller marginalt bedre.
Forbeholdene er væsentlige: Tallene er producentmålinger på H100, og der foreligger endnu ikke uafhængige reproduktioner. En 2,42× wall-clock speedup under batchvenlige forhold siger desuden ikke alt om TTFT under høj konkurrence eller varierende promptlængder.
Hvorfor throughputgevinsten kan mærkes i drift
Operationsmæssigt handler det om færre sekventielle commits og mere arbejde i parallel. Blockwise refinering kan øge tokens-per-second, fordi tokens kommer ud i større bidder, mens cacheopdateringer sker per blok frem for per token. Det ændrer også GPU-udnyttelsen—særligt hvis man allerede er memory-bound på attention eller MoE-routing.
Hold fast i TTFT og TTLT sammen med tokens pr. sekund pr. GPU. Diffusion vinder især ved længere svar og høj concurrency, hvor AR’s sekventielle natur bider. I praksis påvirker cold-starts, varierende promptlængder og baggrundsbelastning dog resultaterne markant.
Implementering og integrationsspørgsmål
Hardware først: Referenceopsætningen for to-tårns diffusion bruger to H100-GPU’er, og kilden angiver cirka 59 GB per GPU i BF16. Det er ikke letvægtsinference. Aktører på A100, L40S eller mindre kort må teste selv for at vurdere, hvor tæt de kan komme på gevinsterne—numerik og kernels gør en forskel.
MoE ændrer batching-dynamikken. Med 128 eksperter, hvor 6 aktiveres pr. token plus 2 delte, stiger risikoen for uens belastning under høj concurrency. Det kan give mere ujævn latenstid. Routing koster, og aktive parametre pr. token omkring 3 milliarder per tårn øger kravet til memory-båndbredde og cache-hit-rate. Orchestratorer med dynamisk microbatch-tuning kan blive nødvendige.
Driftsrammen at måle efter
Brug de fire klassiske dimensioner: tilgængelighed, svartid, omkostning og throughput. Svartid måles som Time to First Token og Time to Last Token. Gennemløb som tokens pr. sekund pr. GPU under realistisk belastning. Omkostning som pris per token og per svar—inklusiv backoff, retries og batch-spild. Rammen hjælper med at undgå tunnelsyn på kun tokens per sekund.
Cross-region eller multi-udbyder kan øge robusthed, men koster TTFT. Med en åben vægt-udgivelse som TwoTower kan noget af balancen flyttes hjem lokalt—med tilhørende ansvar for failover, patching og governance.
Licens, sikkerhed og governance
TwoTower udgives som åbne weights under NVIDIA Nemotron Open Model License. I praksis kan man hente og køre vægtene uden binding til en specifik cloud. Det muliggør eksperimenter, egne pipelines og interne proofs-of-concept. Hvad licensen præcist tillader omkring redistribution og ændringer kræver dog, at man læser licensteksten; kilden opsummerer ikke alle klausuler.
Åbne weights er både frihed og ansvar: Plan for opdateringer, håndtering af kendte svagheder og mekanismer til at detektere misbrug. Når inference kører tæt på kerneapplikationer, bliver observabilitet og audit-logning nødvendige standarder.
Hvem bør kigge nærmere
Organisationer med tekstgenerering i bulk: content pipelines, batchgenerering og høj-throughput chatassistenter, hvor et lille kvalitetsfald kan byttes til markant hastighed. Interne værktøjer, hvor lav latenstid og høj tokenrate slår maksimal nøjagtighed i nicheopgaver, er også oplagte kandidater.
Til gengæld bør kode- og matematikopgaver vurderes ekstra omhyggeligt, da netop disse domæner viser lidt større kvalitetsfald i de officielle tal. Her kan mock-AR eller ren AR fra samme checkpoint være klogere default, med diffusion som opt-in til brede sprogopgaver.
Begrænsninger og ubesvarede spørgsmål
Der mangler uafhængige benchmarks, der reproducerer 2,42× gennemløb og 98,7 procent kvalitetsretention under de nævnte H100 BF16-betingelser. Vent med større arkitekturændringer, til egne målinger foreligger.
Robusthed på tværs af prompttyper er ikke fuldt dokumenteret: meget lange kontekster, fåskud vs. nulskud, eller stram formatstyring. Der mangler desuden TTFT-målinger under høj concurrency og multi-tenant trafik samt en driftsøkonomisk analyse af MoE ved kontinuerlig produktion.
Sådan kan testen gribes an
Start med en AR-baseline på samme checkpoint. Mål TTFT, TTLT, tokens pr. sekund pr. GPU, pris per token og human-evaluering på kerneopgaver. Test derefter diffusion ved gamma 0,8 og S 16 og evaluer tradeoffs. Afslut med en sweep på gamma og blokstørrelse for at finde knækpunktet, hvor kvaliteten slipper for hurtigt.
Indhent to slags uafhængig feedback: en performance-ingeniør med MoE-erfaring til batches, router-telemetri og microbatch-tuning, samt en uafhængig benchmarker til at reproducere nøgletal på mål-hardware. Hvis muligt, test også på hardware under H100-niveau for at vurdere portabilitet.
Hvor lander det på 6 til 18 måneder
Hvis diffusion over en frossen AR-ryggrad i praksis kan levere AR-nær kvalitet med markant højere throughput, vil prioriteringer i LLM-drift flytte sig: mindre fokus på AR-samplingtricks, mere på blokstørrelser, gamma og routing i en hybrid inference-stack. Multi-mode checkpoints dæmper risikoen, fordi AR-sporet forbliver åbent.
Det nære råd: Prøv i lille skala først. Kør jeres egen workload gennem diffusion og AR fra samme checkpoint. Mål alt. Læg tallene ved siden af hinanden. Det er dér forskellen viser sig.
