Små modeller med recursion udfordrer den store model‑myte i AI‑forskning

Overblik og nyhedsvinkel

En ny AI-model, Tiny Recursive Model (TRM), har gjort noget, der for få år siden ville have lydt som science fiction: slået langt større sprogmodeller på komplekse reasoning-benchmarks. Med kun 7 millioner parametre overgår TRM både DeepSeek-R1 (671B), Gemini 2.5 Pro og o3-mini på opgaver, der tidligere var forbeholdt mastodonter. For både forskere og virksomheder er det en gamechanger, fordi det åbner for avanceret AI på langt mindre hardware og med lavere omkostninger.

Hovedresultater og benchmarks

TRM’s resultater taler for sig selv. På ARG-AGI 1 scorer modellen 44,6–45 % og på ARC-AGI 2 7,8–8 % (to forsøg), hvilket ikke bare overgår HRM (27M parametre), men også de meget større DeepSeek-R1, o3-mini-high og Gemini 2.5 Pro. På Sudoku-Extreme (87,4 %) og Maze-Hard (85,3 %) sætter TRM også ny standard for små modeller. Til sammenligning når HRM kun 55 % på Sudoku og 74,5 % på Maze-Hard. Det er ikke bare et spørgsmål om nøjagtighed, men også om generaliseringsevne og effektivitet – TRM klarer sig bedre på tværs af opgavetyper, selv med langt færre ressourcer.

Arkitektur og tekniske nyskabelser

Hvad gør TRM så speciel? I stedet for HRMs to-modul-hierarki og gradient-approximation, bruger TRM én kompakt, to-lags kerne, der recursivt opdaterer en latent scratchpad og en løsningsembedding. Modellen veksler mellem at “tænke” (opdatere scratchpad) og “handle” (forfine løsningen) i op til 16 trin. Hele processen superviseres dybt, og der backpropageres gennem alle trin – i modsætning til HRMs fixed-point-approach. Det giver TRM en evne til at generalisere, som større modeller ofte mangler.

For Sudoku bruges en MLP-mixer frem for self-attention, hvilket reducerer overkapacitet og forbedrer bias/variance-tradeoff. På større grids, som Maze-Hard, bevares self-attention. Recursionen skaber effektiv dybde uden at øge antallet af lag, og to lag viser sig at generalisere bedre end dybere varianter ved samme compute.

Træningsmetoder og open source

TRM er trænet fra bunden på små, kraftigt udvidede datasæt – ikke via few-shot prompting. Træningen er dybt superviseret, og der bruges en learned halting head til at styre, hvornår modellen skal stoppe. Hele træningsopskriften, kode og data er open source og frit tilgængelig på GitHub, så alle kan reproducere resultaterne eller eksperimentere videre. Det gør det let for både forskere og virksomheder at komme i gang med egne tilpasninger.

Effektivitet og produktion

En af de største fordele ved TRM er dens minimale memory footprint og hurtige inference. Hvor store modeller kræver dyr hardware og lang tid, kan TRM køre på langt mindre maskiner – endda edge devices. For virksomheder med begrænsede ressourcer betyder det, at avanceret reasoning nu kan implementeres i produktion uden at sprænge budgettet. Latency og energiforbrug er markant lavere end for de store sprogmodeller.

Praktiske anvendelser og use cases

TRM’s robusthed og forklarlighed gør den oplagt til domænetilpasning. I sundhedssektoren kan den fx bruges til at analysere patientdata og forudsige behandlingsforløb, mens den i fintech kan hjælpe med risikovurdering på små devices. I uddannelsessektoren kan TRM drive adaptive læringsplatforme, hvor hurtig og forklarlig feedback er afgørende. Også i den offentlige sektor, hvor ressourcerne ofte er begrænsede, er potentialet stort.

Begrænsninger og forbehold

TRM er ikke uden begrænsninger. Modellen klarer sig bedst på strukturerede, grid-baserede opgaver og har endnu ikke vist samme styrke på mere åbne eller teksttunge opgaver. ARC-AGI-2 grand-prize threshold (85 % på private set) er stadig langt væk, og der er et stykke vej, før TRM kan kaldes en generel AGI-løsning. Det er vigtigt at holde sig for øje, at TRM’s styrke ligger i effektivitet og specialisering, ikke i bred, menneskelignende forståelse.

Perspektiv og fremtid

TRM viser, at små modeller med recursion og fuld backpropagation kan udfordre den gængse opfattelse af, at større altid er bedre. Det kan ændre balancen mellem compute, effektivitet og performance i fremtidens AI. For virksomheder betyder det, at man ikke nødvendigvis skal investere i enorme modeller for at få adgang til avanceret reasoning. Vi forventer, at recursion og små, effektive modeller vil få større betydning i både forskning og erhvervsliv fremover.

Hands-on ressourcer og næste skridt

For dem, der vil prøve kræfter med TRM, er der allerede nu adgang til tutorials, kodeeksempler og guides på GitHub. Vi opfordrer til at eksperimentere, bidrage til open source-udviklingen og undersøge, hvordan TRM kan tilpasses netop jeres behov. Det er sjældent, at en så lille model kan levere så store resultater – og det er nu, man skal hoppe med på vognen.

Kilder:

• https://www.marktechpost.com/2025/10/09/tiny-recursive-model-trm-a-tiny-7m-model-that-surpass-deepseek-r1-gemini-2-5-pro-and-o3-mini-at-reasoning-on-both-arg-agi-1-and-arc-agi-2/
• https://x.com/rasmus1610
• https://x.com/jm_alexia?lang=en
• https://medium.com/@devashish_m/deepseek-r1-vs-openai-o3-vs-gemini-2-pro-the-best-ai-for-customer-service-executives-46f6c5d8c83a
• https://arcprize.org/arc-agi
• https://www.marktechpost.com/2025/10/09/tiny-recursive-model-trm-a-tiny-7m-model-that-surpass-deepseek-r1-gemini-2-5-pro-and-o3-mini-at-reasoning-on-both-arg-agi-1-and-arc-agi-2/

Målgruppens mening om artiklen

Anne Madsen, IT-projektleder i sundhedssektoren:

Jeg giver artiklen 85. Den er meget relevant for mig, fordi den beskriver en AI-model, der kan køre på mindre hardware og stadig levere avanceret reasoning. Det er præcis den type teknologi, vi har brug for i sundhedssektoren, hvor ressourcerne ofte er begrænsede, og hvor forklarlighed og effektivitet er afgørende. Jeg savner dog lidt flere konkrete eksempler på brug i sundhed, men overordnet set er det spændende læsning.

Jonas Petersen, CTO i fintech-startup:

Jeg giver artiklen 90. Det er sjældent, jeg ser så grundig en gennemgang af både arkitektur, benchmarks og praktiske fordele. At modellen kan køre på edge devices og stadig performe så godt, er ekstremt interessant for fintech, hvor latency og sikkerhed er vigtigt. Artiklen er teknisk nok til at jeg føler mig oplyst, men stadig tilgængelig. Den får ikke 100, fordi der mangler lidt om sikkerhedsaspekter.

Camilla Holm, folkeskolelærer med interesse for EdTech:

Jeg giver artiklen 75. Det er spændende, at små AI-modeller kan bruges til adaptive læringsplatforme, og jeg kan se potentialet i undervisningen. Men artiklen er meget teknisk, og jeg kunne godt have brugt flere pædagogiske eksempler og forklaringer på, hvordan det konkret kan implementeres i skolen. Alligevel er det inspirerende at læse om mulighederne.

Michael Sørensen, IT-driftansvarlig i kommune:

Jeg giver artiklen 80. Det er super relevant, at avanceret AI nu kan køre på billigere hardware – det er noget, vi kan bruge i det offentlige, hvor budgetterne er små. Artiklen forklarer godt, hvorfor TRM er banebrydende, men jeg savner lidt mere om, hvordan man konkret kommer i gang, og hvilke faldgruber der kan være i en kommunal kontekst.

Fatima Al-Hassan, AI-forsker:

Jeg giver artiklen 92. Artiklen rammer plet med sin gennemgang af de tekniske nyskabelser og de åbne forskningsspørgsmål. Jeg sætter især pris på, at træningsmetoder og kode er open source, og at der er fokus på generaliseringsevne. Det trækker lidt ned, at artiklen ikke går endnu mere i dybden med de teoretiske begrænsninger, men samlet set er det en meget stærk artikel.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.