Alibaba-holdet bag Qwen har udgivet Qwen3.6-35B-A3B som den første open-weight-model i Qwen3.6-generationen. Ifølge kildegrundlaget har modellen 35 milliarder parametre i alt og 3 milliarder aktive under inferens. Kilderne beskriver den også som en sparse Mixture-of-Experts vision-language-model.
Det betyder, ifølge gennemgangen fra MarkTechPost, at modellen ikke bruger alle parametre i hvert forward pass. I stedet routes hvert token gennem et mindre udvalg af eksperter. Den beskrivelse er central for modellen og dens opbygning.
MoE-opbygningen
Ifølge kilden indeholder modellens MoE-lag 256 eksperter i alt. For hvert token aktiveres 8 routede eksperter og 1 shared ekspert. Det er den konkrete forklaring i materialet på, hvordan modellen kan have 35 milliarder samlede parametre og 3 milliarder aktive under inferens.
MarkTechPost beskriver også modellen som et kausalt sprogmodelsystem med vision encoder, trænet gennem både pre-training og post-training. Den formulering stammer fra kilden og er ikke yderligere dokumenteret i det medsendte materiale.
Arkitekturen
Ifølge MarkTechPost bruger Qwen3.6-35B-A3B en arkitektur på 40 lag organiseret i 10 blokke. Hver blok består af 3 instanser af Gated DeltaNet til MoE efterfulgt af 1 instans af Gated Attention til MoE. Det er den arkitekturbeskrivelse, der fremgår af kilden.
Samme kilde oplyser, at Gated DeltaNet-sublag håndterer lineær attention. Gated Attention bruger Grouped Query Attention med 16 query heads og 2 key-value-heads for at reducere presset på KV-cache under inferens. De tekniske detaljer er gengivet direkte fra kildegrundlaget.
Kontekstlængde
Kildegrundlaget oplyser en native kontekstlængde på 262.144 tokens. Med YaRN-skalering kan den udvides til 1.010.000 tokens. Det er en af de konkrete specifikationer, der fremhæves i materialet.
Der er ikke i det medsendte materiale selvstændig dokumentation for, hvordan modellen præsterer på tværs af forskellige praktiske arbejdsgange ved de længder. Her holder artiklen sig derfor til de oplyste specifikationer.
Resultater på SWE-bench
På SWE-bench Verified scorer Qwen3.6-35B-A3B ifølge MarkTechPost 73,4. I samme gennemgang står der 70,0 for Qwen3.5-35B-A3B og 52,0 for Gemma4-31B. De tal er blandt de mest konkrete performanceoplysninger i materialet.
Kilden beskriver også modellen som konkurrencedygtig i agentisk kodning sammenlignet med dense modeller med cirka ti gange så mange aktive parametre. Det er en formulering fra kilden og bør læses som kildeudsagn, ikke som en uafhængigt efterprøvet konklusion i det materiale, vi har her.
Open-weight og drift
Det manuelle brief oplyser, at open-weight og parameter-effektivitet kan sænke inferensomkostninger og latenstid og gøre on-premise eller edge-drift mere mulig. Briefet siger også, at open-weight gør audit, specialtilpasning og databeskyttelse lettere. De vurderinger kommer fra briefet og er ikke dokumenteret yderligere i de øvrige kilder.
Samme brief fremhæver, at det kan være relevant i regulerede brancher og organisationer med følsomme data. Det er også briefets anbefaling, at modellen benchmarkes mod egne kerne-cases og totaløkonomien vurderes mod større modeller.
Hvad der er dokumenteret her
Det medsendte kildegrundlag understøtter modellens open-weight-status, parameterfordeling, MoE-struktur, arkitektur, kontekstlængde og SWE-bench-tallene. Det understøtter også, at briefet tillægger open-weight og parameter-effektivitet mulige driftsfordele. Mere brede konklusioner om faktisk effekt i produktion kræver mere dokumentation end det materiale, der er lagt frem her.
Kort sagt er nyheden veldokumenteret på specifikationer og de nævnte benchmarktal. De bredere driftsmæssige implikationer i artiklen bør læses som vurderinger fra briefet og ikke som selvstændigt verificerede resultater.
