Stemmeagenter har været svære at drive i stor skala. Ikke fordi modellerne ikke kunne tale, men fordi konteksten hele tiden slap op, sessioner røg på nul, og ingeniører sad med elastikker og gaffatape. I dag flytter OpenAI regnestykket: tre nye realtime-lydmodeller og et Realtime API, der nu er generelt tilgængeligt. Det rykker enterprise-voice fra stunt-demo til en arkitektur, der kan driftes (OpenAI, MarkTechPost).
- GPT-Realtime-2 med GPT-5-class reasoning og 128K-token kontekst (VentureBeat, MarkTechPost).
- GPT-Realtime-Translate til live tale-til-tale-oversættelse på 70+ sprog til 13 mål, i talerens tempo (OpenAI, VentureBeat).
- GPT-Realtime-Whisper til streaming-transskription i realtid (OpenAI, MarkTechPost).
Alt sammen via Realtime API, som nu er ude af beta og tilgængelig i OpenAIs API og Playground. Det er her, flere lag af kompleksitet kan ryge ud af jeres stack, hvis I ruter rigtigt og behandler konteksten som produktionsdata. Vi har set for mange projekter snuble på netop det – inkl. tidlige tests hvor overivrig logning spiste halvdelen af budgettet på en weekend. Den blev slukket mandag (Snilld, MarkTechPost).
Hvorfor det betyder noget nu
Enterprise-voice har haltet, fordi korte kontekstvinduer tvang session resets, state compression og rekonstruktion via mellemservices og køer, der sjældent holdt sig i takt. Resultatet: latens, gentagelser og brugere, der oplevede glemsom dialog. Oven i det: uforudsigelige regninger, når hvert resume blev en novelle (VentureBeat).
Fra Snilld-teamet ser vi igen og igen, at kontekstloftet er den reelle blocker. Ikke forståelsen nu-og-her, men at holde tråden over længere forløb uden at bryde alt op. I en 40-minutters support-POC reducerede vi session-resets markant ved at bevare mere kontekst og prune klogt. Cirka syv tiendedele færre ifølge vores notater fra et overophedet mødelokale på Østerbro. Ikke public data, men læringen står fast: kontekst virker – hvis den styres stramt (Snilld).
Hvad OpenAI faktisk lancerer
GPT-Realtime-2 er den nye stemmemodel, som beskrives med GPT-5-class reasoning. Den håndterer sværere forespørgsler, kan afbryde naturligt, kalde værktøjer parallelt og holde samtaler i gang uden at tabe tråden. 128K tokens muliggør længere forløb og færre tvangsopsummeringer midt i komplekse flows (OpenAI, VentureBeat, MarkTechPost). Det løser ikke alt, men fjerner et velkendt smertepunkt.
GPT-Realtime-Translate forstår 70+ sprog og oversætter til 13 målsprog i talerens tempo. Den sigter på live tolkning, hvor timing betyder lige så meget som nøjagtighed. De 13 mål er et bevidst scope for at holde latens og kvalitet. Vi mangler uafhængige målinger af idiomatik, talestop og overlappende dialog – det skal testes i virkelige miljøer (OpenAI, VentureBeat).
Og så er der transskriptionen
GPT-Realtime-Whisper er en streaming STT-model, der kan føde tekst ind i reasoning-laget eller jeres egne værktøjer. I stedet for at sende alt gennem én tung model, rutes opgaver til specialiserede komponenter. Det er en arkitektur-beslutning, ikke branding – og præcis den skillelinje mange enterprise-teams har efterspurgt for at mindske koblingen mellem funktioner (OpenAI, MarkTechPost, VentureBeat).
Realtime API er ude af beta og GA. Alle tre modeller er tilgængelige via API og i Playground. Det signalerer produktionsparathed på papiret – og flytter risikobeskrivelserne fra “eksperimentel drift” til skalerbarhed, oppetid og cost governance. GA er ikke lig med friktionsfri enterprise-drift, men det fjerner et bekvemt alibi for at vente (MarkTechPost).
Teknisk konsekvens for arkitekturen
128K-kontekst og model-opdeling ændrer orkestreringen. I kan rute transskription til Realtime-Whisper, oversættelse til Realtime-Translate og samtalelogik til Realtime-2. Det åbner for en enkel model-router i fronten, en state-store ved siden af og microservices til berigelser, værktøjskald og politikfiltre. Forskellen er, at mere samtalehistorik kan ligge tæt på modellen uden at blive hakket i stykker hvert tredje minut (VentureBeat, Snilld).
Tradeoffs: Større vindue kan spilde tokens – indfør aggressiv pruning, summarization-checkpoints og cost-metering pr. session. Routing til tre modeller kan øge chatter og koordinationslatens – batch klogt og eskalér kun til reasoning, når det er nødvendigt. Session management skal være first-class: session keys, adgangskontrol, og en klar afslutningslogik, ellers lækker både kontekst og kroner (Snilld, MarkTechPost).
Arkitekturmønstre der virker i praksis
Tre mønstre går igen. 1) Letvægts model-router, der identificerer opgaven ud fra lyd/tekstsignaler og vælger model. 2) Delt state-store med kort retention, segmenteret pr. samtale og begrænsede tokens pr. tur via policies. 3) Asynkront tool-call-lag, så reasoning kan fortsætte, mens systemet slår op, booker eller henter data. Den sidste fjerner død luft i dialogen (Snilld).
Latency og cost hænger sammen. Sæt kvoter pr. minut pr. session, og log tokens ind og ud – ikke kun dagspriser. Mål end-to-end: fra lyd ind til handling ud. Mange måler STT-latens men glemmer reasoning- og tool-latens, som afgør oplevelsen. Vi rettede netop det hos en kunde, hvor STT var perfekt, men en gammel SOAP-integration bremsede alt (Snilld).
Tre enterprise-scenarier som ændrer sig
Kundeservice med lange multi-turn-forløb. Implementering: Realtime-Whisper til transskription og Realtime-2 til samtalelogik og værktøjskald. Fjernede barrierer: færre hårde resets/opsummeringer; 128K bærer flere emneskift og delbeslutninger. Nye problemer: kontekst-glid og cost creep uden aktiv pruning. Løsning: tidsbaseret pruning og intents med udløb – som cookies med max-age (VentureBeat, Snilld).
Feltservice og smart-assistenter over lange jobs. Implementering: on-device buffering med periodisk upload, Realtime-Whisper til robust STT i støj, Realtime-2 til beslutningsstøtte og tool-calls mod EAM. Fjernede barrierer: færre manuelle noter, mindre re-briefing. Nye problemer: ustabil forbindelse og partielle uploads midt i værktøjskald. Planlæg offline-degradering, lokal cache og konfliktløsning ved reconnect. Det er her, tingene brækker i felten (Snilld).
Realtidstolkning i multinationale møder. Implementering: Realtime-Translate til tale-til-tale, Realtime-Whisper som sikkerhedslinje, Realtime-2 on-demand ved komplekse instruktioner/handlinger. Fjernede barrierer: mindre ping-pong mellem sprog, mere flydende møder. Nye problemer: overlappende tale, idiomer og domænetermer. Kræv domæneordbøger, taler-ID og evt. forvarmet kontekst med agenda/navne. Kvalitet måles pr. domæne, ikke generelt (OpenAI, VentureBeat, Snilld).
Integration og drift uden at tabe overblik
Observability først. Log tokens pr. tur, pr. model, pr. session. Tag call traces, så latensflaskehalse er synlige, og gør state reproducerbar. Typiske fejlsæt: a) rå audio i kontekstlager frem for transskriberet/anonymiseret tekst, b) ingen aktiv pruning, c) manglende cost-hotspots for lange sessioner. Løs med simple guards og dashboards fra dag ét (Snilld).
Compliance/datastyring bliver vigtigere med 128K-kontekst. Større vindue = større blast radius ved læk. Praktisér dataminimering, session-segmentering og kryptering i hvile/transport. Hold styr på, hvad der sendes til hvilken model. Realtime-session-API’er skal have stram adgangskontrol og audit-logs, og retention-politikker skal være præcise. Vi mangler fuld klarhed om OpenAIs retention og adgangslog for realtime-kontekst – forvent ekstra due diligence, før governance tegnes færdig (rapportering hul, kræver verifikation).
Konkurrence og marked
VentureBeat peger på Mistrals Voxtral som konkurrent, der også adskiller transskription og sigter mod enterprise-voice. Vi har ikke bred korroboration i kildesættet – tag det som signal, ikke dom. Den reelle differentiering kan blive orkestrering: hvem gør routing, state og cost-styring lettest i drift. Observability, policy-kroge og solide SDK’er kan tælle mere end top-1 BLEU på en benchmark – selv om begge dele betyder noget (VentureBeat).
Flere leverandører lover one-stop-voice. I praksis vinder arkitekturen: gode defaults for routing og state slår ofte en teoretisk bedre model i et rodet produktionsmiljø. Opdelingen her gør det tydeligere, fordi I kan kombinere komponenter uden at miste tråden ved hvert gearskifte (Snilld).
Hvad man bør gøre nu, helt konkret
Mål det. Kør en 3–6 ugers POC med mål for latens under X samtidige sessioner, tokens pr. minut, omkostning pr. session og fejlrate i multi-turn-flows. Inkludér failure-injektion: sluk oversættelsen i 30 sekunder og mål jeres fallback. Og mål brugeroplevelsen – dashboards snyder, agenter gør ikke (Snilld).
Arkitekturcheckliste: model-router, state-store med pruning-politikker, asynkront tool-lag, og metrics på tokens ind/ud. Per-session budgets og nedskalering af modelkapacitet, når kontekst er stabil. Governance for dataminimering, retention og audit-logs for realtime-sessioner. Hvis det mangler, så tegn det nu. Det koster en halv dag og sparer en måned senere. Vi har selv måttet lappe et audit-krav undervejs – unødigt og undgåeligt (Snilld).
Usikkerheder og hvad vi vil teste først
Omkostningsreduktion i praksis: plausibel, men uden uafhængige benchmarks. Mål cost pr. time og pr. session i korte vs. lange flows, sammenlignet med jeres status quo. Latens under belastning: kurver for 100, 500 og 1.000 samtidige sessioner med blandede sprog og overlappende tale. Hvis halen bliver lang, falder oplevet kvalitet. Derudover: hvordan håndterer Realtime-Translate idiomer og talestop i lav-latens-scenarier? Det skal verificeres (VentureBeat, OpenAI, rapportering hul).
Fakturering og TCO: vi mangler fuld synlighed på pris for meget lange 128K-sessioner vs. mange korte. Test realistiske mønstre. Få også klarhed om sikkerhed og retention i realtime-kontekstlagring. Indtil da: send kun følsom data efter eksplicit policy-check og i reduceret form. Konservativ praksis vinder her (rapportering hul, Snilld).
Den korte dom
OpenAI ruller tre modeller ud, der adskiller reasoning, oversættelse og transskription. Det sænker orkestreringsstøjen og gør det muligt at bygge voice som veldefinerede brikker frem for en monolit. GPT-Realtime-2 får 128K-vindue og GPT-5-class reasoning, Realtime-Translate dækker 70+ sprog til 13 mål i talerens tempo, og Realtime-Whisper giver streaming STT. Realtime API er GA. Det er håndfaste værktøjer, der ændrer måden, vi kan bygge på – hvis state og omkostninger styres disciplineret (OpenAI, VentureBeat, MarkTechPost).
Vi blev overraskede over, hvor meget mere naturligt en samtale flyder, når modellen kan afbryde pænt, forklare hvad den gør og fortsætte uden at miste hængepartierne. I et forsøg hang assistenten dog fast i en forældet hensigt pga. for lang kontekst. Læringen: mere kontekst er kun bedre, hvis den er relevant og frisk. Resten skal ud. Det ser man først rigtigt, når man bygger det (Snilld).
