Snilld

Fra hybrid thinking til agenter: hvad Junyang Lins exit fra Qwen betyder for implementering

Junyang Lin, tidligere teknisk lead på Alibabas Qwen, er trådt tilbage og argumenterer nu for at flytte fokus fra hybrid thinking i store sprogmodeller til agent‑baserede systemer. Hans talk om Qwen‑familien viser både hvad der lykkedes og hvor hybridtilgangen knækkede, med klare implikationer for arkitektur, drift og evaluering i virksomheder.

5. juli 2026 Peter Munkholm

Junyang Lin har forladt rollen som teknisk lead for Alibabas Qwen. Det skete 3. marts 2026, og kort efter lagde han en talk ud, der slutter med en sætning, der falder tungt. Training models -> training agents. En lille linje, men den punkterer en stor ballon. For hvor mange har ikke satset på hybrid thinking som løsning på alt fra chat til dyb problemløsning.

Lin træder tilbage og skifter fokus

Kort fortalt: Ifølge MarkTechPost oplyser Lin, at han trådte tilbage 3. marts 2026 og nu betegner sig som uafhængig forsker på sin egen side. I sin talk med titlen Qwen Towards a Generalist Model \/ Agent fører han publikum gennem Qwen‑familien og ender med den afsluttende sætning om at flytte fokus fra modeller til agenter. Kilden læser både talken og en efterfølgende post som ét sammenhængende argument.

Det kan ligne semantik eller branding, men pointen er konkret. Hvis én model skal både svare lynhurtigt i simple cases og tænke længe i svære, opstår en indbygget konflikt. Non‑thinking belønnes for korthed og lav latency, mens thinking belønnes for flere tokens og tålmodighed. Lin kalder det primært et data‑ og mål‑problem – ikke kun et modelspørgsmål.

Makro af slidt betongulv med to farvede baner (cyan og grøn) der mødes; naturtro tekstur, nordisk lys, ingen tekst.

Qwen‑familien som fremvist i talken

Talken går igennem QwQ‑32B, Qwen2.5‑Max, Qwen3, Qwen2.5‑VL og Qwen2.5‑Omni. Undervejs holdes de op mod samtidsmodeller som DeepSeek‑R1, Grok 3 Beta, Gemini 2.5 Pro og OpenAIs o‑serie. Graferne viser forspring hist og her. Bemærk, at benchmarks præsenteres i talken – de er ikke uafhængigt peer‑reviewede. Læs dem med metodisk forsigtighed, ikke som endelige domme.

Qwen3 fylder mest. Her beskrives hybrid thinking eksplicit: en mode til step‑for‑step‑resonering, en non‑thinking mode til næsten øjeblikkelige svar og dynamic thinking budgets, hvor kaldet sætter loft for “tænkning”. Samtidig udvides flersproget support fra 29 til 119 sprog og dialekter – en markant udvidelse af anvendelsesområdet.

Arkitektur og størrelser, kort fortalt

Qwen‑præsentationen spænder fra små til meget store modeller, cirka 0,6B til 235B parametre. Der er både tætte (dense) modeller og MoE‑varianter. For Qwen3 beskrives en ren linje i arkitekturvalgene: de små, tætte modeller binder input‑ og output‑embedding sammen og kører med 32K kontekst. De større tætte og MoE‑modeller dropper embed‑tie og går op til 128K kontekst.

MoE‑opsætningen i slidsene aktiverer 8 ud af 128 eksperter pr. token. Klassisk tradeoff: parameter‑effektivitet og specialisering mod routerkompleksitet og drift. Embedding‑tie på små modeller holder hukommelsesaftryk og vægtantal nede – nyttigt on‑prem eller på edge – mens de lange kontekster på de store kræver mere hukommelse, båndbredde og stram orkestrering, som mange produktionsmiljøer stadig bakser med.

Banner

Hybrid thinking forklaret og afgrænset

På papiret var idéen ren: thinking mode til de hårde opgaver, non‑thinking til de lette, og en drejeknap for hvor meget reasoning, man vil betale for. I praksis, forklarer Lin, blev adfærden mudret. Når data og reward‑signaler trak mod modsatte mål, flød det over: thinking‑sporene blev oppustede uden sikker gevinst, mens instruct‑svarene mistede skarphed.

Qwen‑holdet forsøgte en fire‑trins post‑træningspipeline for at smelte det sammen. Ifølge materialet omfattede den bl.a. long‑CoT cold start, reasoning‑RL og et særskilt fusionstrin af thinking mode. Senere, i 2025, kom en 2507‑linje med adskilte Instruct‑ og Thinking‑varianter. Lin kalder det primært et datapunkt – ikke en modelsvaghed. Pointen er, at løsningen ikke nødvendigvis er en ny arkitektur, men et andet systemdesign.

Supportdisk i en lille nordisk virksomhed med farvekodet kø: cyan hurtigbane og grøn langsom port; indigo toning og diskrete signalaccents.

Hvor andre gik en anden vej

Lin peger kort på Anthropic som modbillede. Claude 3.7 Sonnet udkom som en hybrid model med brugerstyret thinking‑budget, og Claude 4 lod reasoning flette med værktøjsbrug til især kode og langvarige opgaver. Det refereres i talken som sammenligning – ikke som endelig dom over feltet. Læs det som en note om, at hybrid kan fungere, men kræver snævre rammer og omtanke.

Det, der overraskede mig i materialet, er hvor klart Lin adskiller to epoker. Først reasoning‑æraen (o1, DeepSeek‑R1), hvor deterministiske, verificerbare belønninger gjorde matematik og kode centrale. Derefter agentisk tænkning, hvor tanken er til for at handle: planlægning, beslutning om hvornår der skal handles, værktøjsbrug, feedback fra omgivelser og revision. En lukket løkke – ikke bare længere tekstkæder.

Demos og den retning der blev peget på

Talken viser to demos: en webudviklingsdemo og en deep research‑demo. De er eksempler, ikke produktløfter, men de illustrerer et mere agentisk loop. Fremtidsslidet prioriterer eksplicit agenter, mere pretraining, RL med miljøfeedback, længere kontekst og flere modaliteter. Det er ikke en lille kurskorrektion.

Man kan indvende, at alle taler om agenter nu. Her er pointen, at det flettes ind i selve modelpraksis. Hvis målet er at løse opgaver med handlinger og værktøj, er det mærkeligt at presse alt gennem én chatmodel, der både skal være kortfattet og dybt tænkende på kommando. Den spænding forsvandt ikke i Qwen3 – den blev blot synlig.

Konkrete implikationer for virksomheder

Hvis agentlaget vinder, ændrer byggeklodserne sig. Ikke kun en LM bag et API, men også værtsmiljøer, action‑handlers, sandboxes, state‑styring, auditering og adgangskontrol. Evalueringen skal følge med: mål både korte, instruktive svar med latencykrav og lange reasoning‑spor med forklaringskvalitet og stabilitet over tid. Én testpakke rækker ikke.

Governance bliver mindre lineær. Agenter må ikke have frie hænder uden vagtværn. Definér hvilke handlinger der må udføres, på vegne af hvem, og med hvilke bremser. Og logs, der kan bære compliance. Ikke spændende, men afgørende, hvis man vil rulle ud i produktion uden uventede sideeffekter kl. 03.17 en tirsdag.

Makro af slidt betongulv med to farvede baner (cyan og grøn) der mødes; naturtro tekstur, nordisk lys, ingen tekst.

Arkitekturvalg i praksis

Valget mellem MoE og dense er ikke religion. MoE kan give høj kapacitet per FLOP, men kræver routerstabilitet, skalerede eksperter, god sharding og monitorering for ekspert‑collapse. Dense er ofte enklere at drifte, men dyrere i stor skala. Lad workloadet afgøre: høj opgavevarians og mange sprog taler for MoE; stramme latency‑SLO’er og homogen opgavetype kan tale for en veltrimmet dense.

Kontekstlængde op mod 128K er fristende, men afklar om der er reel nytte. Mange cases klarer sig med 32K, især hvis retrieval er sat rigtigt op. Længere kontekst koster hukommelse, båndbredde og hale‑latency – og forstørrer fejlfelter i orkestreringen, som først viser sig i myldretiden, ikke i en pæn demo.

Banner

Drift, latency og kvantisering

Hybrid thinking blev bl.a. solgt på lav latency i lette opgaver. Lins pointe er, at blandingen forringede begge discipliner. Implementeringsmæssigt taler det for adskillelse: enten to modelprofiler (hurtig instruct og dyb reasoning) eller et agentlag, der vælger strategi per opgave. Mindre elegant på papiret, mere forudsigeligt i SLO‑termer.

Kvantisering dukker op i talken som en praktisk døråbner. Formater som GGUF, GPTQ, AWQ og MLX listes, og materialet angiver Apache 2.0‑licens. Det sænker adgangsbarrierer for on‑prem og edge. Men licenser skal tjekkes i de konkrete repos og license‑filer, før man baserer en udrulning på dem. Det er et rapporteringshul – ikke en katastrofe – men kræver due diligence.

Risici ved agenttilgangen

Agentlag udvider angrebsfladen: handlinger, API‑kald, langvarig state. Kræv rate‑limits, scopes, impersonation‑regler, tidsbegrænsede tokens og robuste rollbacks. Evaluer ikke kun nøjagtighed, men også skadespotentiale og recovery. Hallucinationer bliver dyrere, når de kan udløse handlinger, så pak handlinger ind i sandboxede adaptere med klare kontrakter.

Der er også risiko for kompleksitetsspiral. Orkestrering ovenpå orkestrering. En fornuftig start er snævre domæner med høj gevinst ved automatisering: intern søgning, dokumentopdatering eller enkel orkestrering mellem to systemer, med menneskelig godkendelse som sidste step. Små skridt, synlige gevinster, lav skadeevne hvis noget går skævt.

Markedssignaler uden for Qwen

For perspektiv på enterprise‑retningen: Takedas samarbejde med Insilico Medicine handler om tidlig lægemiddelopdagelse og adgang til Pharma.AI‑platformen, hvor Insilico leder det AI‑drevne opdagelsesarbejde, og Takeda fører udvalgte kandidater videre i klinisk udvikling. Et andet domæne end Qwen, men signalet er det samme: virksomheder designer hele processer omkring AI‑komponenter, ikke blot et chatlag ovenpå data.

Den slags aftaler siger intet om Qwens performance. De siger noget om modenheden i markedet: integration, dataflow og beslutningsporte vejer ofte tungere end et ekstra procentpoint på en benchmark, der alligevel ikke matcher jeres produktionsdata. Tørt – men dér projekter dør eller lever.

Hvad man bør gøre nu

Skil mål fra midler. Afgør om simple forespørgsler skal igennem en reasoning‑tung model. Hvis ikke, læg en hurtig instruct‑profil foran og lad en agent eskalere til reasoning ved behov. Hav særskilte eval‑sæt til begge typer: korte latencytests for instruct, lange trace‑tests for reasoning med verifikation og cost‑kontrol.

Vælg modelstørrelse og kontekstlængde efter hukommelsesbudget og latency‑SLO’er. Små, tætte modeller med embedding‑tie og 32K kontekst kan dække det meste, hvis retrieval er rigtigt sat op. Gem de store dense\/MoE‑modeller til opgaver, hvor de faktisk bærer vægten. Og dokumentér licenser for kvantiserede weights, før de rammer produktion. Antagelser står svagt i et audit.

Rapporteringshuller og uenigheder

Nogle dele af Lins fortælling mangler detaljer. De konkrete benchmarkprotokoller og råscores er ikke tilgængelige i den viste kilde. Påstanden om kvantiserede formater under Apache 2.0 kræver verifikation i repos. Referencen til 2507‑linjens separate Instruct og Thinking‑varianter mangler også dyb dokumentation her. Og sammenligningen med Anthropic er Lins egen vurdering – ikke et uafhængigt studie.

Der er heller ikke kommentarer fra Alibaba eller det nuværende Qwen‑team i materialet. Det kunne nuancere billedet af, hvorfor hybrid‑strategien blev valgt, og hvad der faktisk kører i produktion. Indtil da bør Lins konklusion læses som én vægtig stemme – ikke dommen over hele feltet.

Hvorfor det betyder noget nu

Det korte svar er, at hybrid‑drømmen var bekvem. Én model til alt. Lins budskab stikker hul i den bekvemmelighed. Ikke fordi reasoning er dødt, men fordi tænkning uden handling er halvvejs. Agentlaget tvinger alle til at tage integration, sikkerhed og evaluering alvorligt. Mindre elegant på slids. Mere brugbart i drift.

Kilder

    Gør brugeroplevelsen bedre.
    Hvilket firma arbejder du for?