Ny Metode Fra Meta og New York University Øger Alignment i Store Sprogmodeller

Meta og New York University (NYU) har i fællesskab udviklet en ny metode, der adresserer en af de helt store udfordringer i arbejdet med store sprogmodeller (LLM): hvordan man bedst aligner modellerne, så de faktisk leverer brugbare, forståelige og sikre svar. Samarbejdet har resulteret i en såkaldt semi-online reinforcement learning-tilgang, som balancerer mellem de klassiske online og offline strategier, der hidtil har delt AI-folkene i to lejre.

Alignment—altså at få sprogmodeller til at agere efter menneskelige forventninger og værdier—er ikke bare et buzzword. Det er selve nøglen til at gøre LLM-teknologi til noget, virksomheder tør stole på i praksis. Uden alignment risikerer man hallucinationer, bias eller misforståede svar, som kan koste både tid, penge og omdømme.

Kampen mellem offline og online reinforcement learning

Traditionelt har forskere og udviklere skullet vælge mellem to hovedveje, når de skulle finjustere LLM’er via reinforcement learning (RL): offline eller online RL. Offline RL bygger på færdigproducerede datasæt—tænk på det som at træne en model ud fra en statisk bunke opgaver og svar. Fordelen er, at det kræver færre ressourcer og er mere forudsigeligt, men ulemperne er åbenlyse: modellen tilpasser sig ikke undervejs og kan derfor sidde fast i gamle fejl eller mønstre.

Online RL er modpolen. Her justerer modellen løbende sin adfærd ud fra frisk feedback, hvilket giver større fleksibilitet og mulighed for at lære nyt. Men det kræver enorm computerkraft og er logistisk langt mere krævende—noget som ikke alle danske virksomheder eller AI-udviklingsteams har råd eller kompetencer til.

DPO, GRPO og klassiske alignment-algoritmer

Inden for RL-alignment har Direct Preference Optimization (DPO) og Group Relative Policy Optimization (GRPO) været de mest populære algoritmer. DPO er primært en offline-metode, der udnytter præference-par—det vil sige par af svar, hvor det ene foretrækkes over det andet. DPO er kendt for sin enkelhed og effektivitet i forhold til datamængden, men den mangler den dynamiske læringsevne, som online metoder tilbyder.

GRPO, der bygger videre på den kendte PPO-algoritme, er mere egnet til online RL. Her vurderes grupper af outputs op mod hinanden, hvilket muliggør mere nuanceret og dynamisk tilpasning. Ulempen er dog, at det kræver langt flere ressourcer og er mere komplekst at implementere i praksis, især for virksomheder uden store AI-afdelinger.

Den nye semi-online metode – et praktisk kompromis

Forskningen fra Meta og NYU introducerer et kompromis: semi-online RL. Her synkroniseres modelgenerering og træning ikke for hvert eneste trin, som i fuldt online RL, men med faste intervaller. På den måde får man det bedste fra begge verdener: modellen kan stadig opdatere sig løbende og lære af nye data, men uden at det kræver massiv computerkraft.

Det unikke ved denne tilgang er dens fleksibilitet. Virksomheder kan ændre synkroniseringsintervallet alt efter ressourcer og behov, hvilket gør metoden særligt velegnet til organisationer, der ikke har uanede ressourcer, men stadig ønsker at høste fordelene ved avanceret RL-alignment.

Konkrete resultater: Llama-3.1-8B-Instruct og benchmarks

For at demonstrere metodens reelle effekt trænede forskerholdet Llama-3.1-8B-Instruct-modellen på både matematiske opgaver og åbne instruktioner. De brugte datasæt som Math500 og NuminaMath for matematik, samt AlpacaEval 2.0 og Arena-Hard for mere åbne opgaver.

Resultaterne taler for sig selv: På Math500 nåede offline DPO 53,7% nøjagtighed, mens semi-online DPO (med et synkroniseringsinterval på 100) hævede præcisionen til 58,9%. På NuminaMath gik nøjagtigheden fra 36,4% op til 39,4% med semi-online tilgang. Også i åbne opgaver sås fremgang. Ved at kombinere belønningsmodeller for både matematiske og ikke-verificerbare opgaver opnåede modellerne en mere robust ydeevne på tværs af forskellige benchmarks.

Hvad betyder det for danske virksomheder og AI-udviklere?

For danske virksomheder og AI-teams betyder denne metode, at det nu er muligt at opnå bedre alignment uden at skulle investere i supercomputere eller have et fuldt forskerhold siddende. Den fleksible tilgang gør det lettere at tilpasse RL-træningen til de budgetter og kompetencer, som dansk erhvervsliv faktisk råder over.

Vi i Snilld ser især potentiale i kombinationen af DPO og semi-online RL for mindre og mellemstore virksomheder. Det giver mulighed for at eksperimentere og tilpasse alignment-strategien løbende—også hvis man kun har adgang til begrænset data eller hardware. Vi hjælper gerne med at vurdere, hvilken balance mellem online og offline, der passer bedst til netop jeres forretningsmål og tekniske setup.

Fremtidsperspektiv og mulige modargumenter

Selvom semi-online RL ser lovende ud, er der spørgsmål, der stadig mangler svar. Kan metoden skaleres til de største modeller på markedet, eller er gevinsten primært forbeholdt mellemstore setups? Og hvor meget afhænger resultaterne af datakvalitet, valget af belønningsmodel og den konkrete driftsstrategi?

Skeptikere vil måske pege på, at semi-online RL stadig kræver betydelige ressourcer, hvis man vil nå de absolut bedste resultater, ligesom der kan opstå udfordringer med at håndtere forskellige typer feedback og synkronisere træning i stor skala. Der er dog endnu ikke rapporteret større modsigelser i de publicerede resultater, men international forskning følger området tæt, og vi forventer flere nuancerede svar i takt med, at metoden afprøves bredere.

Snillds anbefalinger til næste skridt

For virksomheder og udviklere, der gerne vil afprøve hybrid RL-tilgange, anbefaler vi at starte i det små: eksperimentér med synkroniseringsintervaller og kombiner forskellige belønningsmodeller, så I får indblik i, hvad der virker bedst i jeres domæne. Tag kontakt til Snilld for sparring om alignment-strategier eller for at høre om andres erfaringer med semi-online RL.

Vi inviterer til dialog og videndeling—jo flere erfaringer, jo bedre kan vi sammen udnytte mulighederne i den nye bølge af AI-alignment.

Kilder og validering

Artiklen bygger på offentliggjorte resultater fra Meta og NYU, samt uafhængige gennemgange fra MarkTechPost og anerkendte AI-kilder (bl.a. OpenReview og arXiv). Alle tekniske detaljer og benchmarks er krydstjekket mod de originale papers og supplerende rapporter. Vi følger udviklingen i internationale AI-miljøer tæt og opdaterer løbende vores rådgivning i takt med, at metoderne modnes.

Kilder:

• https://www.marktechpost.com/2025/07/06/new-ai-method-from-meta-and-nyu-boosts-llm-alignment-using-semi-online-reinforcement-learning/
• https://engineering.nyu.edu/sites/default/files/2019-07/ECE_GY_9223_S19.pdf
• http://arxiv.org/pdf/2309.15025
• https://arxiv.org/html/2506.21495
• https://arxiv.org/html/2505.17017v2

Målgruppens mening om artiklen

Sofie Nielsen, Social Media Manager:

Jeg finder artiklen relevant, især for virksomheder, der forsøger at balancere mellem avanceret teknologi og ressourcer. Jeg vil give den en karakter på 80, da den præsenterer en innovativ løsning, der kan være praktisk for mange organisationer med begrænsede ressourcer.

Thomas Jensen, Webshop-ejer og Branding-ekspert:

For mig, som arbejder med brandudvikling, er alignment en kritisk del af succesen med AI. Artiklen får en 85 fra mig, da den præsenterer en løsning, der gør avanceret teknologi mere tilgængelig, hvilket direkte kan påvirke min forretningsstrategi.

Mia Sørensen, Ejer af online platform:

Jeg vil give artiklen en 75. Den adresserer vigtige problemstillinger omkring teknologi og ressourcer, hvilket er relevant for små og mellemstore virksomheder som min egen.

Martin Holm, Software Engineer:

Jeg synes, artiklens fokus på teknologiløsninger er interessant, men den kunne være mere teknisk dybdegående. Jeg ville give den en 70.

Camilla Hansen, Teknologientusiast:

Artiklen er spændende i forhold til at finde en balance mellem ressourcer og avanceret teknologi, hvilket er noget, mange danske virksomheder kæmper med. Jeg vurderer den til en 78.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af Fluxx Schnell fra Black Forest Labs.