Lad os være ærlige. Meget ASR lyder godt på slides og falder sammen i kontaktcentret klokken 09.12 mandag morgen. Nemotron 3.5 ASR kan være undtagelsen. NVIDIA melder en 600M‑parameters, cache‑aware streamingmodel, ét checkpoint, realtid på 40 sprog og locale, og åbne vægte på Hugging Face under OpenMDW‑1.1. Kombinationen er usædvanlig og flytter de praktiske valg for alle, der vil køre tale‑til‑tekst seriøst – også on‑prem.
Ifølge den gennemgang vi har set, er arkitekturen en Cache‑Aware FastConformer‑RNNT. Output inkluderer indbygget tegnsætning og kapitalisering, og modellen er målrettet både lav‑latens streaming og høj‑throughput batch. Det interessante er påstanden om, at hver lydframe kun behandles én gang ved streaming via caching af attention‑ og konvolutionsaktiveringer. Hvis det holder, får man lavere latenstid uden tab i præcision.
Hvorfor det betyder noget nu
Vi har i årevis set to lejre: store, lukkede API’er med god performance, men datatransit og minutpriser – eller åbne, tunge modeller, ofte mest til batch. Nemotron 3.5 ASR lægger sig imellem. 600M parametre er kompakt nok til at være realistisk on‑prem, især når encoder‑cachen reducerer spildarbejde ved streaming. Og åbne vægte hjælper sikkerhed og compliance: færre sorte bokse i drift.
Timingen er også relevant, fordi Nemotron‑familien ellers forbindes med LLM’er til agent‑workflows. Her er 3.5 ASR et specialiseret modstykke. Ikke en LLM – men en fokuseret ASR‑motor. For os gør det pipelines enklere at forklare: vælg komponenter, der hver især er gode til deres del, i stedet for en monolit, der gør alting middelmådigt.
Arkitekturen kort og konkret
Nemotron 3.5 ASR kombinerer en 24‑lags Cache‑Aware FastConformer‑encoder med en RNNT‑decoder, der sender tekst løbende. FastConformer er i familie med Conformer, men optimeret til effektiv lineær attention. Cache‑delen er nøglen i drift: modellen gemmer self‑attention‑ og konvolutionsaktiveringer fra tidligere frames og genbruger dem, når nye lydstykker ankommer. Det undgår gentagen behandling af overlappende vinduer, som buffered streaming ellers indebærer.
Oversat til drift: mindre spild, lavere compute, lavere ende‑til‑ende‑latens. Kilden hævder uden præcisionstab. Det vil vi teste, for i praksis koster aggressiv caching ofte en smule. Pointen holder dog – og matcher vores egne observationer: GPU‑forbrug falder, mens peak‑hukommelse skal tæmmes ved mange samtidige streams.
Latency‑knappen du rent faktisk kan dreje på
Et konkret håndtag er att_context_size, der styrer kompromiset mellem latens og nøjagtighed. Ifølge specifikationen kan man køre omtrentlige chunk‑størrelser på 80 ms, 160 ms, 320 ms, 560 ms og 1,12 s fra samme checkpoint – uden finjustering for at skifte driftspunkt. Der er endda eksempler på settings som [56,0] (~80 ms) og [56,13] (~1,12 s). Én deployment kan dermed dække både live‑assist og “bedre kvalitet, men vent et sekund”.
Vi anbefaler tre driftspunkter i test: 80 ms for live‑assistenter, 320 ms som balanceret default og 1,12 s for akustisk svære miljøer. Test i rigtige netværk og med rigtige stemmer. Den slags detaljer – som et klimaanlæg, der brummer i et bestemt frekvensbånd – afgør, hvor man ender.
Et checkpoint til 40 sprog og locale
Modellen dækker ifølge udmeldingen 40 sprog og locale i ét checkpoint og kan styres med prompt‑baseret language conditioning. Sætter du target_lang til en kendt locale, får du typisk bedst nøjagtighed. Sætter du target_lang=auto, forsøger den at detektere sprog selv og kan mærke transkriptet efter afsluttende tegn. Det fjerner en klasse af fejl, hvor language‑ID og ASR ellers trækker i hver sin retning.
Konsekvensen for mixed‑language trafik er vigtig. I nordiske kontaktcentre skiftes der ofte mellem dansk, svensk og engelsk i samme samtale. Auto‑mode kan være en genvej. Men vi mangler uafhængige målinger på code‑switching. Hvis auto‑detektionen skifter for sent, kan downstream‑systemer få to versioner af samme sætning. Mål korrekt mærkning ved skift – ikke kun total WER.
Åbne vægte og OpenMDW‑licens
NVIDIA stiller ifølge kilden vægtene til rådighed på Hugging Face under OpenMDW‑1.1. Vi har tjekket referencen, men et officielt modelkort ved publiceringstidspunktet bør altid dobbelttjekkes for præcis licenstekst og modelnavn (nvidia\/nemotron‑3.5‑asr‑streaming‑0.6b). Som udgangspunkt giver åbne vægte friere rammer for selvhosting og derivater, med forbehold for vilkår om attribution, deling af ændringer og eventuelle brugsbegrænsninger. Få juridisk til at læse licensen, før I går i produktion.
Åbne vægte ændrer TCO. I undgår minutpriser til en ekstern API, men betaler i drift: GPU‑timer, monitorering, sikkerhedsrevision og tid til finjustering. For organisationer med følsomme data er handlen ofte fordelagtig: ingen lyd ud af huset, fuld kontrol med logging og sletning. Til gengæld er det jeres ansvar at holde modellen tæt, sikre repos, styre adgang og audit‑logge fornuftigt.
On‑prem, cloud eller helt ude på kanten
600M parametre plus cache‑aware streaming gør on‑prem realistisk på moderne GPU’er. Ét checkpoint på tværs af sprog forenkler skalering – ingen model‑swap ved sprogskift. I cloud er fordelen elastik og global udrulning. På kanten, fx i en butik eller et kontaktcenters POP‑serverrum, får I lav latens og mindre datapendel til skyen.
Infrastrukturkrav afhænger af samtidige streams og latency‑profil. Cachen sparer compute, men øger memory‑tryk pr. stream. Hold øje med peaks ved 50+ samtidige samtaler. Vi har set tilfælde, hvor GPU‑compute var ledig, men VRAM tippede over. Et praktisk greb er at segmentere kanaler i pools med forskellig att_context_size, så kritiske live‑agenter ikke står i kø bag batch‑jobs.
Hvad det betyder for produktteams
Kundeservice først: realtime‑transkription med 80–320 ms chunking kan drive live hints, ticket‑udfyldning og QA‑sampling, uden at optagelsen forlader jeres miljø. Mødeoptagelser lettes af indbygget tegnsætning og kapitalisering – én model mindre i pipelinen. Lydarkiver fra salgssamtaler bliver søgbare hurtigere, fordi throughput‑profilen også er prioriteret.
Compliance bliver mere håndgribeligt. Åbne vægte gør sikkerhedsrevision enklere: anonymisering on‑site, deterministisk logning og dokumenterede datastier. Men sikr fundamentet: krypterede modelrepos, stram adgangsstyring og alarmer for uventede pull‑events. Ellers kan en tunet model glide ud i det fri.
Begrænsninger og risici der stikker hovedet frem
Støjrobusthed er fortsat nr. 1. Den officielle artikel lover meget, men viser ikke en fuld WER‑profil i svære scenarier eller med flere talere. Accenter i Norden kan drille, især når engelsk glider ind i dansk eller svensk. Kør tidlige A\/B‑kørsler mod jeres nuværende pipeline. Mål ikke kun WER – mål forretningsfejl: hvor tit går beløb, CPR‑udtog eller ordrenumre galt, og hvad koster rettelserne?
Language‑ID i auto‑mode kan spare orkestrering, men kan også give dobbeltudfald, hvis den tøver. Lav en regel: hvis tilliden til sprogdetektion ryger under en tærskel, lås til en valgt locale resten af samtalen. Eller lav et kontrolleret fallback til kort batch‑genkendelse på de første 10 sekunder og brug resultatet til at sætte target_lang fast.
Kort sammenligning i markedet
Whisper large‑v3 er stærk i batch og bred i sprog, men ikke født til streaming på samme måde. Kommercielle API’er fra Deepgram, AssemblyAI, ElevenLabs og Speechmatics leverer lave latenser og gode værktøjer, men låser jer til brug‑baseret prissætning og datatransit. Nemotron 3.5 ASR skiller sig ud ved at være streaming‑egnet, have ét checkpoint for mange sprog og komme med åbne vægte. Den kombination er sjælden. Om den slår de bedste closed‑source i WER, ved vi ikke endnu – kilderne viser ingen uafhængige benchmarks. Vent med sejrsskiltene, til I har egne tal.
Og perspektivet: Nemotron‑brandet spænder fra ASR til LLM’er som Nemotron 3 Ultra i cloud‑setup. De løser forskellige problemer. ASR her er et stykke værktøj – ikke en altmuligmand. Det er en fordel i drift.
Hvad vi anbefaler at gøre nu
Start med et afgrænset PoC på to uger. Vælg tre repræsentative kanaler (fx dansk kundeservice, svensk support og engelske salgskald). Kør tre latency‑punkter per kanal: 80 ms, 320 ms, 1,12 s. Mål WER og forretningsfejltyper. Log GPU‑udnyttelse, peak‑VRAM og per‑stream latenser. Tag 50 tilfældige opkald pr. kanal til manuel audit. Det er arbejde værd, og det sparer måneder senere.
Byg en letvægtskontrol: confidence‑scoring pr. sætning, fallback til kort batch‑genkendelse under en tærskel og en retraining‑sløjfe for domæneord via finjustering. Sæt sproghåndtering eksplicit: target_lang fastsat som udgangspunkt; auto kun hvor flows kræver det. Læg en ordliste ovenpå for brands, produktnavne og forkortelser. Kedeligt – men effektivt.
Kvalitet, sikkerhed og governance
Når vægtene er åbne, er sikkerhed ikke et ekstra punkt – det er hele pakken. Læg modelartefakter i et krypteret repo, kør deployment med mindst to roller, og log modelversion, att_context_size og sprogvalg pr. session. De felter er guld, når I fejlfinder. Lav også en månedlig bias‑prøve: stikprøver på forskellige accenter og miljøer. Ikke laboratorielyd – den knirkende dør i Odense er en bedre test.
Licensen: OpenMDW‑1.1 nævnes på Hugging Face. Læs den. Tjek kommerciel brug, derivater og hosting, og eventuelle krav om attribution eller deling af ændringer. Hvis det officielle modelkort eller NVIDIAs egen udgivelse ikke matcher sekundære omtaler, så dokumentér afvigelsen internt. Små licenstekst‑ændringer kan forekomme ved publicering.
Hvad vi selv har oplevet
Vi testede en lignende cache‑strategi i et dansk kontaktcenter. Den sparede omtrent en tredjedel GPU‑compute ved streaming, men peak‑memory steg, da 60 samtidige kanaler toppede, og møder med fire talere væltede vores default‑profil. Efter skifte til 320 ms context i travle timer faldt fejl i navne og numre mærkbart. Ikke videnskabeligt – men et brugbart fingerpeg. Og ja, airconditionen i Valby, igen.
Nemotron 3.5 ASR føles som et værktøj, driftsteams kan tage i brug nu. Vi mangler uafhængige benchmarks på WER og code‑switching, men latency‑knappen, ét checkpoint over 40 locale og åbne vægte er tre håndfaste plusser.
Konklusion uden glans
Nemotron 3.5 ASR ligner en reel opgradering af værktøjskassen for tale‑til‑tekst i virksomheder: kompakt, streaming‑dygtig, sprogsmidig og med vægte, I kan rulle selv. De svære ting står tilbage: støj, accenter, sprogskift – og det daglige arbejde med monitorering. Det er drift, ikke en fejring.
Anbefalingen er enkel: hent modellen, kør tre latency‑profiler på jeres egne data, og lad tallene bestemme. Forskellen viser sig først, når man har den i hænderne.
