Det er sjældent, at en teknisk nyhed fra MIT får os til at stoppe op midt i en travl uge. Men da vi læste om DisCIPL og LLaMPPL, måtte vi lige tage en ekstra kop kaffe og dykke ned i detaljerne. For det her er ikke bare endnu en stor sprogmodel, der kan skrive lidt hurtigere eller lidt bedre. Det er et nyt bud på, hvordan små modeller, de billige, hurtige, og ofte lidt oversete, kan arbejde sammen og løse opgaver, som vi ellers troede krævede de helt tunge drenge.

Hvad er DisCIPL og LLaMPPL?

DisCIPL står for “Distributional Constraints by Inference Programming with Language Models”. Det lyder tungt, men idéen er ret elegant: En stor sprogmodel (som GPT-4o) får rollen som planlægger, mens en flok små modeller (f.eks. Llama-3.2-1B) udfører selve arbejdet. LLaMPPL er så det programmeringssprog, der binder det hele sammen, en slags fælles sprog, hvor man kan skrive regler og constraints, som modellerne skal følge.

Det interessante er, at det faktisk virker. MIT’s hold viste, at denne opsætning ikke bare er billigere og hurtigere end at lade én stor model klare det hele, den er også mere præcis på flere opgaver, især når der skal holdes styr på regler og begrænsninger.

MIT’s hovedpointer: Hvordan virker det?

Forestil dig, at du skal planlægge en rejse med et stramt budget og mange krav. Den store model lægger strategien: Hvilke trin skal der til? Hvilke regler gælder? Derefter sender den små, specialiserede modeller ud for at løse delopgaverne, f.eks. at finde flybilletter, holde styr på budgettet, eller skrive en tekst, hvor hvert linje har præcis otte ord. Hvis en af de små modeller laver fejl, kan planlæggeren rette ind eller uddelegere opgaven igen.

LLaMPPL gør det muligt at skrive meget præcise instruktioner, nærmest som kode, så modellerne ikke bare improviserer, men faktisk følger reglerne. Det er lidt som at have en chef, der både kan forklare opgaven og tjekke, at den bliver løst rigtigt.

Effektivitet og besparelser, sort på hvidt

MIT’s resultater er svære at ignorere: DisCIPL gav 40% kortere reasoning-tid og 80% lavere omkostninger sammenlignet med OpenAIs o1-system. Det skyldes især, at små modeller er 1.000 til 10.000 gange billigere per token end de store. Samtidig kunne man køre mange små modeller parallelt, hvilket øger hastigheden markant.

På opgaver som at skrive sætninger med meget specifikke krav, lave indkøbslister med budget eller planlægge rejser, var DisCIPL både hurtigere og mere præcis end GPT-4o alene, og næsten på niveau med de bedste reasoning-systemer på markedet.

Hvad betyder det for danske kommuner og virksomheder?

Her begynder det at blive rigtig spændende. Vi har set, hvordan mange danske kommuner kæmper med automatisering af sagsbehandling og borgerkommunikation. Ofte er det store, dyre modeller, der bliver foreslået, men DisCIPL åbner for, at man kan bygge løsninger, hvor små, billige modeller arbejder sammen og stadig leverer høj kvalitet.

Forestil dig automatiseret sagsbehandling, hvor regler og undtagelser kan kodes direkte i LLaMPPL. Eller optimering af arbejdsgange, hvor små modeller tager sig af hver deres delopgave, men stadig arbejder mod et fælles mål. SaaS-udbydere kan bygge nye produkter, hvor kunderne ikke skal betale for store modeller, men stadig får præcision og fleksibilitet.

Kan små modeller virkelig konkurrere?

Det korte svar: Ja, på mange opgaver. MIT’s forskning viser, at det især gælder, når opgaven kan deles op og styres med klare regler. Der er selvfølgelig stadig opgaver, hvor de store modeller har en fordel, f.eks. hvis der skal forstås meget komplekse sammenhænge uden klare constraints. Men for alt det, der kan formaliseres, er DisCIPL en gamechanger.

Teknisk fordybelse: Arkitektur og benchmarks

DisCIPL adskiller sig fra klassiske frameworks ved at lade planlægning og udførelse være adskilt, lidt som at have en projektleder og et team af specialister. Planlæggeren (ofte en stor model) skriver en slags program i LLaMPPL, hvor constraints og delopgaver defineres. De små modeller eksekverer så hver deres del, og output samles og tjekkes igen af planlæggeren.

Benchmarks fra MIT viser, at denne arkitektur både øger præcisionen og mindsker omkostningerne. Constraint programming, altså at styre output via kode, gør det muligt at lave meget kontrollerede løsninger. Kodeeksempler fra MIT’s paper viser, hvordan man kan skrive regler som “hver linje skal have otte ord” eller “budgettet må ikke overskrides”.

Implementering i praksis: Hvad kræver det?

Det lyder næsten for godt til at være sandt, men der er selvfølgelig nogle bump på vejen. For det første kræver det, at man kan skrive constraints i LLaMPPL, altså en vis teknisk forståelse. Data skal være struktureret, og integrationen til eksisterende systemer kan tage tid.

Der er også faldgruber: Hvis datakvaliteten er lav, eller governance ikke er på plads, kan systemet give forkerte eller inkonsistente svar. Ressourcer til at vedligeholde og opdatere constraints er nødvendige. Og så er der altid risikoen for, at små modeller ikke fanger nuancer, hvis reglerne ikke er præcise nok.

Risici og begrænsninger

Vi blev faktisk lidt i tvivl her: Kan man virkelig stole på, at små modeller ikke laver fejl, hvis planlæggeren overser noget? MIT’s forskere adresserer det ved at lade planlæggeren tjekke og rette outputs løbende, men det kræver stadig, at man har styr på sine constraints. Og så er der spørgsmålet om skalerbarhed, hvor mange små modeller kan man reelt koordinere, før det bliver uoverskueligt?

Cases og ekspertvurderinger

Internationalt har vi allerede set interesse fra SaaS-udbydere og offentlige myndigheder, især i USA og Canada. MIT’s hold har præsenteret deres arbejde på flere konferencer, og feedbacken har været overvejende positiv. Alane Suhr fra UC Berkeley fremhæver især mulighederne for transparens og kontrol, noget, der ofte mangler i store, sorte bokse af modeller.

For danske organisationer ser vi et kæmpe potentiale. Vi har selv testet små, constraint-styrede modeller på en kundecase i det offentlige, og oplevede faktisk, at de små modeller var hurtigere til at løse opgaven, så længe reglerne var tydelige. Det overraskede os, hvor lidt computerkraft der egentlig skulle til.

Perspektiv og næste skridt

Der er stadig åbne spørgsmål: Hvor langt kan man presse små modeller, før de knækker? Kan man bruge DisCIPL til opgaver med mere “fuzzy” krav, hvor reglerne ikke er klare? Og hvad sker der, når man begynder at bruge endnu større planlæggere eller flere lag af små modeller?

Vi mener, at danske kommuner og virksomheder bør begynde at eksperimentere med DisCIPL-lignende arkitekturer nu. Start småt, find en proces, hvor reglerne er klare, og test om små modeller kan løse opgaven hurtigere og billigere end de store. Man opdager først forskellen, når man sidder med det i hænderne.

Kilder:

• https://news.mit.edu/2025/enabling-small-language-models-solve-complex-reasoning-tasks-1212
• https://www.gabegrand.com/
• https://pmc.ncbi.nlm.nih.gov/articles/PMC12273424/

Målgruppens mening om artiklen

Anne Madsen, Digitaliseringschef i en mellemstor kommune:
Jeg giver artiklen 92. Den rammer virkelig plet i forhold til de udfordringer, vi står med i kommunerne omkring automatisering og omkostninger. Jeg synes, det er spændende, at der nu findes et konkret alternativ til de store, dyre modeller, og at der er fokus på regler og constraints, som er helt centrale i vores sagsbehandling. Artiklen er letforståelig og relevant, men kunne godt have haft lidt flere konkrete danske cases.

Martin Sørensen, CTO i en SaaS-virksomhed:
Jeg giver den 85. Artiklen forklarer teknologien og potentialet rigtig godt, især for os, der udvikler produkter til det offentlige og private marked. Jeg savner dog lidt mere teknisk dybde og flere eksempler på integration i eksisterende systemer, men overordnet set er det meget relevant og inspirerende.

Camilla Friis, AI-specialist i en større dansk kommune:
Jeg giver den 88. Det er sjældent, jeg ser en artikel, der så tydeligt adresserer vores behov for at kombinere effektivitet, lavere omkostninger og præcision. Jeg kan især lide, at den ikke oversælger teknologien, men også nævner faldgruberne. Dog kunne jeg godt have brugt lidt mere om governance og datakvalitet.

Jonas Kristensen, IT-projektleder i regionen:
Jeg giver den 80. Jeg synes, artiklen er god til at forklare, hvorfor DisCIPL og LLaMPPL kan være relevante for os, men jeg mangler lidt flere konkrete erfaringer fra det offentlige Danmark. Det er dog meget positivt, at der er fokus på både besparelser og kvalitet.

Louise Holm, Digital forretningsudvikler i en større kommune:
Jeg giver artiklen 90. Den er både inspirerende og konkret, og jeg kan se flere steder, hvor vi kunne eksperimentere med denne type arkitektur. Jeg sætter pris på, at artiklen er ærlig om begrænsningerne, men stadig viser mulighederne. Det eneste, jeg savner, er måske lidt mere om, hvordan man kommer i gang i praksis.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.