Kyutai lancerer Voice of Reason
Marktechpost beskriver, at Kyutai har udgivet Voice of Reason, to open‑weight tale‑til‑tale‑modeller, der løser matematik højt. Begge starter fra GLM‑4‑Voice‑9B og er yderligere trænet med supervised fine‑tuning og reinforcement learning. Modellerne arbejder uden et transskriptionsled og uden en separat tekst‑LLM i løkken; de er med andre ord speech‑native, end‑to‑end tale ind til tale ud.
På spoken‑GSM8K angiver Marktechpost, at nøjagtigheden går fra 27,3 procent for GLM‑4‑Voice‑basen til 77,1 procent for Voice of Reason. I samme gennemgang nævnes, at en tidligere STITCH‑metode løftede fra 27,3 til 58,7 procent ved at indføre ræsonneringsblokke. Ifølge Marktechpost omtaler forskerholdet arbejdet som den første anvendelse af RL til matematisk ræsonnement i tale‑native modeller.
Hvordan modellen producerer tale og tekst
Marktechpost beskriver GLM‑4‑Voices interleaving: output kører i en fast rytme med 13 teksttokens efterfulgt af 26 audiotokens, gentaget. Artiklen fremhæver desuden audio‑token merging i træningsobjektivet, så der samles over lydpositioner i loss‑beregningen. Formålet er at stabilisere streaming‑adfærd i en tale‑først interaktion.
Udgivelsen er omtalt som open‑weight med licens, der arver fra GLM‑4‑Voice. Marktechpost tilføjer, at GLM‑4‑Voice‑repoet kræves for speech‑tokenizer og decoder ved brug af vægtene, og at ingen Hugging Face‑inferenceudbyder hoster dem på rapporteringstidspunktet.
Supervised fine‑tuning ifølge Marktechpost
I første træningstrin, SFT, bruges ifølge Marktechpost 150.616 opgaver fra Orca‑Math. Hvert spørgsmål omskrives til talt form af Qwen3‑235B, hvorefter Kyutais DSM TTS syntetiserer mange stemmer. Marktechpost skriver, at SFT alene løfter GLM‑4‑Voice fra 27,3 til 61,7 procent på GSM8K.
Den gennemgang, artiklen bygger på, beskriver SFT‑løftet som et tegn på, at format og prosodi hjælper modellen med at strukturere løsningsskridt i tale. Denne vurdering er gengivet i Marktechpost’ tekst, og tallene fremgår der.
Reinforcement learning‑proceduren
I anden fase, RL, beskriver Marktechpost, at modellen for hvert talt spørgsmål sampler fire svar ved temperatur 0,9. En dommermodel, angivet som Qwen3‑235B‑A22B‑2507, tildeler en binær belønning på baggrund af den afkodede tekst og ser ikke referencesvaret. Belønningerne centreres inden for hver gruppe af prøver, så objektivet bliver gruppe‑relativ REINFORCE. Det nævnes, at tilgangen er beslægtet med GRPO og ikke bruger PPO‑klip eller KL‑regularisering.
Marktechpost angiver, at RL‑træningen kørte på 16 H100‑GPU’er med 1.500 RL‑opdateringer. Artiklen refererer også en verificering af dommermodellen, hvor der var 88 procent enighed med mennesker på 100 manuelt gennemgåede sager, som et punkt i evalueringen.
Designvalg, der påvirker resultatet
Ifølge Marktechpost var to designvalg særligt vigtige: temperature correction og audio‑token merging. Temperature correction går ud på at dividere logits med sampling‑temperaturen før log‑softmax i loss. Uden temperature correction, skriver Marktechpost, faldt GSM8K‑scoren fra 65,5 til 12,3 procent i deres ablation.
Audio‑token merging omtales som en mekanisme i loss‑designet ved lydpositioner. Marktechpost præsenterer det som et greb, der hjælper modellen med at holde stabil interaktiv taleproduktion i en streamende opsætning.
Rapporterede resultater
Marktechpost angiver følgende pejlemærker: GLM‑4‑Voice‑basen på 27,3 procent på GSM8K, en tidligere STITCH‑metode på 58,7 procent, og Voice of Reason, der når op til 77,1 procent på spoken‑GSM8K. Disse tal er citeret direkte fra Marktechpost’ gennemgang.
Marktechpost bemærker også, at cascaderede pipelines med ASR→tekst‑LLM→TTS stadig fører på ræsonnering, men at hvert trin lægger latenstid oveni og mister paralingvistiske spor som tone. Den vurdering er en del af deres forklaring på, hvorfor speech‑native modeller er udfordret og hvorfor designvalg som regelmæssig audioemission er centrale.
Deploy og licens ifølge Marktechpost
På spørgsmålet om deploybarhed skriver Marktechpost, at modellerne kan self‑hostes, og at Kyutai kørte begge BF16‑checkpoints på en enkelt NVIDIA H100 ved test. Artiklen præciserer, at GLM‑4‑Voice‑repoet er nødvendigt for speech‑tokenizer og decoder for at køre inferens med de frigivne vægte.
Marktechpost skriver, at vægtene arver GLM‑4‑Voice‑licensen, og at der på rapporteringstidspunktet ikke var en Hugging Face‑inferenceudbyder, der hostede dem. For præcise juridiske vilkår henviser logikken til de officielle licenstekster; disse gennemgås ikke i Marktechpost’ artikel og bør tjekkes i de officielle udgivelser.
Metodeoplysninger og forbehold
Marktechpost beskriver RL‑proceduren, dommermodellen og en mindre menneskelig validering (100 sager, 88 procent enighed). Artiklen dokumenterer også en ablation for temperature correction med de nævnte tal. Andre evaluerings‑ og træningsdetaljer, herunder fulde logger eller komplette hyperparametre, er ikke opregnet her og fremgår ikke af Marktechpost’ tekst.
Marktechpost’ omtale af licensarv, fravær af hosting hos en inferenceudbyder på Hugging Face og behovet for GLM‑4‑Voice’ komponenter er gengivet ovenfor. Yderligere afklaringer om licensvilkår, versions‑tags og præcis fil‑ og artefaktliste kræver konsultation af Kyutais officielle repos og udgivelsesnoter.
Hvad der er nyt ifølge kilden
Den væsentligste nyhed i Marktechpost’ artikel er kombinationen af SFT og RL til tale‑native matematisk ræsonnement med de rapporterede spring på spoken‑GSM8K, samt de to fremhævede træningsdesigns: temperature correction og audio‑token merging. Interleaving‑strategien med 13 teksttokens og 26 audiotokens beskrives som en del af den praktiske streaming‑arkitektur.
Marktechpost refererer også, at forskerholdet bag Voice of Reason selv betegner arbejdet som den første RL‑anvendelse til matematisk ræsonnement i tale‑native modeller. Den formulering er kildeattribueret og er gengivet som sådan.
Kort opsummering
• Udgivelse: To open‑weight tale‑til‑tale‑modeller fra Kyutai, bygget på GLM‑4‑Voice‑9B, uden mellemtransskription, ifølge Marktechpost.
• Træning: SFT på 150.616 Orca‑Math‑opgaver omskrevet af Qwen3‑235B og syntetiseret med Kyutais DSM TTS; derefter RL med dommermodel Qwen3‑235B‑A22B‑2507 og gruppe‑relativ REINFORCE, ifølge Marktechpost.
• Designvalg: Temperature correction og audio‑token merging fremhæves som afgørende; interleaving 13 tekst og 26 audio, ifølge Marktechpost.
• Resultater: spoken‑GSM8K fra 27,3 procent (base) til op til 77,1 procent (Voice of Reason), ifølge Marktechpost.
• Deploy/licens: Testet i BF16 på en enkelt H100; vægte arver GLM‑4‑Voice‑licens; GLM‑4‑Voice‑repoets speech‑komponenter er påkrævet; ingen Hugging Face‑inferencehost på tidspunktet for artiklen, ifølge Marktechpost.
