85 af 96 svar løb ud i sandet
Qwen3.5-0.8B er en lille sprogmodel med en uvane, som dens egen modelbeskrivelse advarer om. Modellen kan gå i ring, mens den tænker. Da fire forskere fra MIT CSAIL satte den til at løse øvelsesopgaver i matematik, kørte 85 af de første 96 svar helt ud til grænsen på 32.768 tokens, uden at modellen nåede frem til et resultat.
Opgaven med at kurere den gik til OpenAI’s GPT-6 Astra på usædvanlige vilkår. Astra måtte pille direkte ved modellens vægte, de omkring 800 millioner tal, dens viden ligger gemt i, men træning og gradienter var forbudt.
131.072 vægte i lag 15 og 19
Ifølge forskerne sporede Astra løkkerne til én bestemt retning, som lag 15 og 19 skriver ind i beregningen, og fjernede den fra 64 kolonner i hvert af de to lag. I alt blev 131.072 vægte ændret, eller 0,016 procent af modellen.
Med 50 prøvekørsler til rådighed steg Qwens score på matematiktesten MATH-500 fra 7,9 til 48,1 procent og på GSM8K fra 13,8 til 67,1 procent. IFEval, der måler, om en model følger instruktioner, gik fra 21,0 til 62,3 procent, selv om ingen havde bedt om netop den forbedring. Med kun 10 eller 25 prøvekørsler var løkkerne stort set intakte.
Fra spilnetværk til Go-bræt
Qwen-forsøget er det sidste af otte i blogindlægget “Sparks of Weight-Space Programming”, som Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab lagde ud 2. november. I de første forsøg skulle Astra læse. Den fik de rå tal fra fire små spilnetværk og navngav det rigtige spil hver gang, uden at kende listen over mulige spil, og den kunne se, om en diffusionsmodel tegnede cirkler, firkanter eller trekanter.
Bagefter skulle den skrive. Til tre små MinAtar-spil byggede Astra netværk fra nul, uden data, gradienter eller værktøjer, og alle tre slog PPO-netværk trænet i 100 millioner skridt. Et Go-netværk på knap 1,5 millioner vægte vandt over halvdelen af sine partier mod to mindre PPO-modstandere, før Astra overhovedet måtte prøve det af. Fik Astra 50 prøvekørsler, slog nettet en PPO-model af samme størrelse, der var trænet på 20 millioner partier.
Bagdøre, regnekraft og selvforbedring
Forfatterne peger selv på, hvorfor det kan få betydning uden for laboratoriet. I dag opdager man typisk en skjult svaghed i en model, når nogen har bygget en test til netop den, eller når kunderne falder over den. Kan en sprogmodel aflæse vægtene præcist nok, kunne man måske finde fx bagdøre direkte i tallene.
Prisen er det andet argument. Et indgreb i under en promille af vægtene kunne ifølge forskerne spare store mængder tid og regnekraft i forhold til at samle data og træne forfra. De nævner også rekursiv selvforbedring, hvor en model undersøger og forbedrer sine egne vægte eller en nyere models.
Gemma 3 270M blev ikke bedre til matematik
Her er der grund til at tage tempoet ned, og det gør forfatterne heldigvis selv. Gemma 3 270M, en mindre model, der sjældent går i ring, kunne Astra ikke gøre bedre til matematik, og ingen af rettelserne flyttede MATH-500 mere end omkring et point. Indlæggets egen konklusion er, at en redigering kan rydde en forhindring af vejen for en evne, modellen allerede har. Nogen ny evne kan den ikke give modellen.
Astra kunne heller ikke ud fra vægtene alene udpege, hvilken af to Gemma-kopier der var trænet til altid at give brugeren ret. Det lykkedes først, da den fik lov at se, hvor modellernes opmærksomhed faldt, mens de læste tekster, den selv havde skrevet.
Forskernes egne tal, åbne logs
Der er tale om små modeller og det, forfatterne kalder “very early results”. Indlægget er ikke fagfællebedømt, resultaterne er forskernes egne, og vi har ikke fundet nogen uafhængig efterprøvning. Til gengæld ligger de fulde logs fra alle forsøg åbent på GitHub.
Hvad danske virksomheder kan gøre nu
Ingen dansk virksomhed behøver at skrive sin AI-strategi om i aften. Kører I små åbne modeller lokalt, er tænke-løkker en kendt fejl, og den redigerede Qwen-model ligger på Hugging Face, men den bør testes på jeres egne opgaver, før den kommer i nærheden af drift. Spørg jeres leverandører, hvordan de i dag undersøger modeller for skjult adfærd, gerne før konkurrenterne gør det. Og hold øje med den benchmark, forfatterne er ved at bygge, og som skal gøre det, der ifølge dem “currently seems like black magic”, til en disciplin, andre kan gentage.
Bundlinjen
Det mest bemærkelsesværdige er, at en almindelig sprogmodel, brugt som den er, gør arbejdet. Lige nu er det en reparationsteknik til små modeller med en bestemt fejl. Bliver det mere end det, står de virksomheder stærkest, der allerede kender forskel på at fjerne en forhindring og at tilføje en evne, når teknikken dukker op i et salgsoplæg.
Kilder
- Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab, MIT CSAIL: Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (2. november 2026)
- GitHub, RikiyaT: lm_understand-logs: komplette logs fra forsøgene (oprettet 29. oktober 2026, opdateret 2. november 2026)
- Rikiya Takehi på X: Opslag om Weight-Space Programming (2. november 2026)
- Kingy AI: Weight-Space Programming: GPT-6 Astra Edits Qwen (2. november 2026)
- explainx.ai: GPT-6 Astra Edits Qwen Weights: MATH-500 7.9% to 48.1% (2. november 2026)
