Tencent har frigivet Hy3, en åben Mixture-of-Experts-model på 295 milliarder parametre, der kun aktiverer cirka 21 milliarder per token, med en kontekstlængde på 256.000 tokens. Vægtene ligger under Apache 2.0. Det reducerer en hel klasse licensblokeringer for EU/UK-teams, men erstatter ikke due diligence om træningsdata, tredjepartsafhængigheder, eventuelle eksportkontroller eller krav under EU AI-forordningen. VentureBeat fremhæver netop licensskiftet og peger på, at fokus på drift og pålidelighed er den egentlige nyhed. MarkTechPost og Tencents egen forskningsside dokumenterer arkitektur, benchmarks og de rapporterede forbedringer i driftsfejl.
Hvad Tencent lover på papiret
Hy3 beskrives som 295B totalparametre med cirka 21B aktive per token, baseret på 192 eksperter og top-8 routing. Kontekstvinduet er 256K, og modellen har 80 lag plus et MTP-lag ovenpå, jf. Tencents researchside og MarkTechPost. Der findes både BF16 og et separat FP8-checkpoint, som sænker hukommelsesforbruget og dermed i praksis kan sænke serve-omkostninger. VentureBeat bekræfter udgivelsen under Apache 2.0.
De offentliggjorte benchmarks spænder bredt: SWE-Bench Verified 78,0, SWE-Bench Pro 57,9, GPQA Diamond 90,4 og USAMO 2026 72,0, ifølge MarkTechPost. En blindtest med 270 eksperter og 312 gyldige sammenligninger gav Hy3 2,67 ud af 4 mod GLM-5.1s 2,51. Tallene er stærke, men de kommer fra holdet selv og skal efterprøves uafhængigt, før de tages som facit. Tencents researchside fungerer her som den kanoniske kilde til specifikationer og scoretabeller.
MoE i praksis, ikke på slides
Mixture-of-Experts betyder, at mange specialiserede “eksperter” bor i modellen, men kun få tændes pr. token. I Hy3 er der 192, og routeren vælger top-8 for hvert token. Effekten: beregning pr. token svarer omtrent til en 21B-model, mens den samlede kapacitet ligner en 295B. Gevinsten er sparsity. Prisen er routing-kompleksitet og behov for at se, om eksperterne faktisk bruges fornuftigt over tid.
Hy3 ledsages af påstande om bedre stabilitet i agentiske forløb, færre formateringsfejl og lavere hallucinationsrater. Ifølge MarkTechPost melder holdet færre invalid tool calls (der før udløste loops), lavere hallucinationsrate og bedre multi-turn constraint-tracking. Gode tegn, men stadig behov for tredjeparts-replikation.
Routing, hotspots og modtræk
192 eksperter med top-8 routing giver plads til snæver specialisering. Det kan også skabe hotspots: enkelte eksperter bliver overbelastede, og latency bliver ujævn. Et par konkrete modtræk hører med i enhver PoC: 1) telemetri for per-ekspert kø og latency, 2) dynamisk rebalancering eller throttling, når bestemte eksperter bliver varme, 3) fallback-politikker, der kan tvinge routing til sekundære eksperter, når tjenestekvaliteten falder, og 4) batch-styring, så cost holdes nede uden at forværre haler i ventetid.
MTP og FP8 i hverdagen
Multi-Token Prediction skal accelerere decoding ved at forudsige flere tokens ad gangen. I praksis kan det kombineres med spekulativ decoding i vLLM eller SGLang, så man henter mere tekst per GPU-sekund. Risikoen er forringet kvalitet i sekvenser, der er følsomme for streng rækkefølge — særligt kode eller formater, hvor ét fejltegn vælter det hele. MarkTechPost viser gode tal på flere benchmarks, mens VentureBeat noterer, at Hy3 ikke vinder overalt i kodning. Det kalder på supplerende tests i kodeassistenter og terminal-scenarier.
FP8-checkpointet er håndgribeligt: lavere hukommelsesforbrug giver tættere batching eller mindre instanser. Men FP8 kræver egen validering, især hvor tool calling og streng formatering er kritisk. Små kvantiseringsskred kan blive dyre i lange agent-kæder. Det skal måles, ikke antages.
Benchmarks med forbehold
De rapporterede tal dækker SWE-Bench, GPQA Diamond, USAMO og IMOAnswerBench. Fremgangen på STEM og reasoning er markant ifølge MarkTechPost, mens kodning er mere blandet i VentureBeats sammenligning. Blindtesten med 270 eksperter er stadig intern — en indikation, ikke en endelig dom. Her er Tencents researchside nyttig som reference, men eksterne reproduktioner er stadig det, der tæller før produktion.
Et praktisk datapunkt, som bør efterprøves ude i felten, er den rapporterede lille varians på SWE-Bench Verified på tværs af forskellige agent-rammer. Hvis stabiliteten holder uden for Tencents opsætning, er det relevant for drift, men det skal vises på neutral infrastruktur.
Pålidelighed som feature
Hy3s release-noter adresserer tre fejltyper: tool calling og outputformat, hallucinationer og multi-turn intent-tracking. Ifølge MarkTechPost faldt invalid calls, der udløser loops, formateringsfejl blev reduceret, hallucinationsraten faldt, og commonsense-fejl gik ned. Dertil kommer bedre coreference og constraint-tracking i lange dialoger. Det peger på et fokus på drift frem for rene leaderboard-meritter.
Apache-licens og regulering
Apache 2.0 fjerner begrænsende licensklausuler, som ofte har blokeret open-weight modeller i EU og UK, noterer VentureBeat. Det åbner for seriøse PoC-forløb i virksomheder, uden at legal bremser allerede ved døren. Men for agentiske udrulninger gælder stadig den regulative virkelighed: EU AI-forordningen og interne compliance-processer sætter skrappe rammer for autonomi, audit og risikoklasser. Automatisering er mulig, men governance og godkendelser er en del af leverancen, ikke et appendiks.
Reproducerbarhedstjekliste til PoC
- Hardware og præcision: dokumentér GPU-type, kernel/driver, BF16 vs FP8 for hver test.
- Batching og routing: log batchstørrelser, top-k/top-p, top-8 routing-opsætning og eventuelle throttles.
- Latency og throughput: mål tokens/sekund og p50/p95/p99-latency per token ved realistiske batchstørrelser.
- Lange kontekster: mål retention ved 64K/128K/256K og citatpræcision/grounding-rate.
- Agenter: kør mindst tre forskellige agent-scaffoldings og mål tool-call success/fail, loop-incidens og schema-adherence.
- Kode: mål pass@k, formateringsfejl og regressioner i multi-file edits med identiske prompts på BF16/FP8.
- Routing-telemetri: fang per-ekspert aktiveringsandele, kølængder og per-ekspert latency; flag hotspots.
Minimal observability i drift
- Per-token ekspert-id histogram og per-ekspert latency/kølængde.
- Tool-call succes/fejl pr. session og andel af afbrudte/loopede kald.
- Sekvens-flag for grounding/citation og andel af udsagn uden kilde.
- Alert-eksempler: p95 tool-call latency > N sekunder over M minutter; hotspot når én ekspert > X% af kald i en batch; loop-rate > Y% pr. 100 sessioner; grounding-rate < Z% i lange dokumenter.
Hvordan man tester Hy3 i praksis
Et sobert PoC kan sættes op via vLLM eller SGLang, hvor MTP og spekulativ decoding kan udnyttes. Start småt: én node, kontrolleret batchstørrelse, tydelig logging for routing og tool calls. Mål latency og outputkvalitet på tre spor: lange dokumenter, agentiske kæder med værktøjer og kodeassist med stramme formatkrav. Kør FP8 og BF16 side om side på samme workloads og sammenlign, før noget sættes i produktion.
Evalueringsmetrikker bør kombinere automatiske scorer og manuelle audits. På lange kontekster: retention over 64K/128K/256K, grounding-rate og citatpræcision. På agenter: succesfulde værktøjsopkald pr. session, loop-incidens og fejl i schema-adherence. På kode: pass@k, formateringsfejl og regressioner i multi-file edits. Ellers ender man i fornemmelser, ikke data.
Drift og omkostninger uden illusioner
MoE ændrer serveringsøkonomien. Compute per token falder relativt til en tæt model med samme toploft, men man betaler en routing-pris og får en mere kompleks batching-sfære. Store batches skærer enhedsomkostning, men kan øge haler i latency, især hvis enkelte eksperter bliver varme. Planen bør indeholde kapacitetsstyring og regler for, hvornår man prioriterer jævn svartid over maksimal udnyttelse.
FP8 kan sænke TCO, særligt hvis hukommelse er flaskehalsen. MTP kan løfte tokens-per-sekund for lange outputs. Den skjulte regning ligger i observability, fairness mellem eksperter, finjustering hvis bestemte domæner halter, og løbende routing-tuning. Sæt budget af til telemetri og evals — ikke kun GPU-timer.
Sikkerhed og governance
Tencent rapporterer lavere hallucinationer og færre formateringsfejl, men ingen model er fejlfri. Sæt værktøjskald bag sandbox og tidsgrænser. Hav rollback og fallback til en mindre, mere deterministisk model, når signaler peger mod fejl. Log værktøjsparametre og API-svar, så fejlscenarier kan reproduceres og rettes hurtigt.
For lange dokumenter bør der være en compliance-krog: marker passager uden kildedækning, og stop automatisk, når modellen interpolerer i stedet for at citere. På agenter bør AB-tests af forskellige scaffoldings køre løbende, så ændringer i prompts ikke forværrer routing eller øger loop-risikoen. Praktisk, målbart, gentageligt.
Konkurrencebilledet kort
VentureBeat sammenligner Hy3 med GLM-5.2 og finder Hy3 foran bredt — undtagen i kodning. Det matcher MoE-fortællingen: god generalisering og reasoning; mere sårbarhed, når streng determinisme og fejltolerance i kode er afgørende. Tætte modeller i 70B-klassen vil stadig være hårde i ren kodekvalitet og forudsigelighed.
Hy3s stærke sider er lang kontekst, rapporteret stabilitet i agenter og mulighed for lavere pris per nyttigt token. Svaghederne er ubesvarede spørgsmål om routing fairness, hotspot-håndtering og robusthed af FP8 på tværs af mange miljøer. Positioneringen er ret klar: stærk kandidat til dokumenttunge arbejdsgange og agentiske flows; mere åben kampplads på hardcore kode.
Hvad en teknisk chef bør gøre nu
Start med et hurtigt licenstjek — Apache 2.0 er normalt ukontroversiel, men få jura til at bekræfte det, også ift. data-proveniens og interne politikker. Sæt et 4-ugers PoC op med få, klart definerede cases og mål. Sørg for observability: routing-distribution, ekspert-latency og værktøjsopkald pr. session. Aftal go/no-go-kriterier på forhånd (loop-rate, grounding, formatnøjagtighed) og hold jer til dem.
Når tallene er på plads, beslut FP8 eller BF16 i drift. En hybrid-tilgang kan give mening: FP8 til generel tekst, BF16 til kode- eller kontraktkritiske flows. Planlæg modelopdateringer og regression-tests, og hav en tæt fallback-model liggende til de flows, hvor determinisme vejer tungere end hurtighed og pris.
Det, der mangler at blive bevist
Tre åbne punkter trænger til uafhængig dokumentation: 1) real-world latency og pris per 1.000 tokens ved forskellige batch- og routingstrategier, 2) fairness og hotspots — hvilke inputs triggere de samme eksperter, og hvordan påvirker det køer, og 3) forskellen mellem BF16 og FP8 i præcisionsfølsomme domæner. Offentlige, detaljerede eval-protokoller her vil gøre forskellen mellem lovende demo og sikker produktion.
Det praktiske resumé
Hy3 er en åben MoE-model med 295B parametre, cirka 21B aktive per token, 256K kontekst, MTP og et FP8-checkpoint, frigivet under Apache 2.0. Ifølge MarkTechPost, VentureBeat og Tencents researchside er fokus på produktionspålidelighed, lavere hallucinationer og bedre værktøjsopkald, mens licensen materialt sænker licensbarrierer i EU/UK. Implementering kræver ny praksis for routing-telemetri, fairness og evalueringsregimer, samt en klar juridisk og driftsmæssig plan. Næste skridt er et snævert, målbart PoC med tydelig observability og faste go/no-go-gates — ellers får man ikke de svar, der betyder noget i drift.
