Google DeepMind-forskere beskrives i en ny omtale hos MarkTechPost som afsender på et studie, hvor et LLM-drevet evolutionssystem ved navn AlphaEvolve automatisk fandt nye varianter af centrale spilteoretiske algoritmer. Ifølge omtalen gjaldt det både Counterfactual Regret Minimization, forkortet CFR, og Policy Space Response Oracles, bedre kendt som PSRO. I begge spor skulle systemet have fundet varianter, der klarede sig på niveau med eller bedre end hånddesignede state-of-the-art baselines. Det er mere opsigtsvækkende, end overskriften først får det til at lyde.Grunden er ret enkel. Vi taler ikke kun om et system, der spiller et spil godt, eller som finder en smart strategi inden for kendte rammer. Vi taler om et system, der ifølge omtalen går ind og omskriver selve de opdateringsregler og løsningsmekanismer, som eksperter normalt bruger måneder eller år på at finjustere manuelt. Det er et niveauskifte ned i maskinrummet. Og den slags viser sig ofte at være vigtigere end den flotte demo ovenpå.

Det gamle håndværk

Hvis man skal sige det uden unødigt forskersprog, har design af algoritmer til multi-agent reinforcement learning i spil med skjult information længe været et håndværk. Forskere har siddet og skruet på vægtning, discount-regler og equilibrium-solvers gennem intuition, forsøg og fejl. Lidt som at tune en racerbil, mens banen hele tiden ændrer sig, og man kun ser halvdelen af svingene. Det er ikke elegant, men det er sådan meget af feltet er blevet bygget op.Det er også derfor, omtalen af AlphaEvolve rammer noget vigtigt. Ifølge MarkTechPost er systemet et distribueret evolutionært setup, hvor et LLM ikke bare justerer tal, men muterer kildekode. Det betyder, at søgningen ikke kun handler om parametre, men om selve algoritmens form. Den forskel lyder måske nørdet, men den er stor.Miljøet her er såkaldte imperfect-information games. Altså situationer, hvor flere aktører træffer valg i rækkefølge uden fuldt indblik i hinandens private information. Poker er det klassiske eksempel, men parallellen til forretning er ikke svær at få øje på. Prisstrategi, forhandling, logistik med usikre modparter, svindelbekæmpelse. Situationer, hvor du ikke kender hele tavlen, og hvor den anden part reagerer på dig, mens du reagerer på dem.

Hvorfor CFR stadig betyder noget

CFR er en af de klassiske metoder i den verden. Ifølge omtalen er det en iterativ algoritme, der akkumulerer såkaldt counterfactual regret på tværs af informationssæt. Groft sagt holder den regnskab med, hvor meget bedre en spiller kunne have klaret sig ved at vælge anderledes i bestemte situationer, og bruger den akkumulerede fortrydelse til at danne nye strategier. Over mange iterationer vil de gennemsnitlige strategier nærme sig en Nash-ligevægt. Det er ikke magi. Bare disciplineret matematik.Det interessante er, at CFR ikke er én fast ting. Varianter som DCFR og PCFR+ er ifølge omtalen udviklet manuelt for at forbedre konvergens gennem særlige discounting- eller predictive update-regler. Det er præcis den slags ekspertarbejde, AlphaEvolve forsøger at automatisere. Ikke ved at sige, at forskerne tog fejl, men ved at søge i et designrum, hvor mennesker normalt bevæger sig langsomt og meget bevidst.Hvis omtalen holder, og det skal vi lige vende tilbage til, så fandt systemet nye CFR-varianter ved at mutere tre centrale Python-klasser: RegretAccumulator, PolicyFromRegretAccumulator og PolicyAccumulator. Det lyder tørt, og det er også lidt tørt. Men det er her, den reelle nyhed ligger, fordi de komponenter styrer, hvordan regret samles op, hvordan nuværende strategi afledes, og hvordan gennemsnitsstrategien bygges over tid.

PSRO og det højere abstraheringsniveau

PSRO ligger et trin højere oppe. Ifølge omtalen holder metoden en population af policies for hver spiller, bygger et payoff-tensor over kombinationerne, bruger en meta-strategy solver til at beregne en sandsynlighedsfordeling over populationen og tilføjer derefter nye best responses iterativt. Det er mere befolkningsbiologi end skaktræk, hvis man vil have et lidt skævt billede. Mange strategier lever side om side, og systemet forsøger at finde en fordeling, der giver mening mod feltet som helhed.I PSRO er meta-strategy solveren den centrale designknap, ifølge omtalen. Det er altså ikke bare et lille modul ved siden af. Det er selve den mekanisme, der afgør, hvordan vægten fordeles mellem de policies, man allerede har. Når et system som AlphaEvolve får lov til at søge efter bedre varianter netop dér, begynder det at blive alvorligt interessant. For så taler vi ikke om at optimere en spiller. Vi taler om at omskrive måden, en hel strategi-population organiseres på.Det her er måske lidt niche, men i praksis er det forskellen på at forbedre en chauffør og at forbedre hele rutestyringen bag en flåde. Den ene slags fremskridt er synlig med det samme. Den anden slags ændrer, hvad der overhovedet er muligt bagefter.

Sådan beskrives AlphaEvolve

MarkTechPost beskriver AlphaEvolve som et distribueret evolutionssystem, hvor en population starter med en standardimplementering. I CFR-forsøgene var CFR+ seed, og i PSRO-forsøgene beskrives Uniform som seed for begge solver-klasser. Derefter vælges en forælder baseret på fitness, kildekoden sendes til Gemini 2.5 Pro med en prompt om at ændre den, kandidaten evalueres på proxy-spil, og gyldige kandidater føjes til populationen. Det er mere Darwin end chatbot.Det er også vigtigt, at der ifølge omtalen ikke kun optimeres efter én enkelt måling. AlphaEvolve understøtter multi-objective optimering, hvor én fitness-metrik kan vælges tilfældigt per generation, hvis der er flere i spil. Den detalje er let at overse, men den siger noget om ambitionen. Man leder ikke kun efter det, der ser bedst ud i ét snævert benchmarkøjeblik.Fitness-signalet beskrives som negativ exploitability efter K iterationer, evalueret på et fast sæt træningsspil som 3-player Kuhn Poker, 2-player Leduc Poker, 4-card Goofspiel og 5-sided Liars Dice. Den endelige evaluering skulle ifølge omtalen være foretaget på et separat testsæt af større, usete spil. Jeg ville meget gerne have set selve papirteksten og de konkrete tal her, for det er netop i overgangen fra træningsmiljø til større testspil, mange flotte ideer mister pusten. Men de tal har vi ikke i kildesættet.

Nuancen, der ikke må blive væk

Det er her, man skal holde lidt igen med fanfaren. Alle eksperimenter blev ifølge omtalen kørt i OpenSpiel. Det er et veletableret framework til den slags forskning, så metodisk er det ikke et problem i sig selv. Tværtimod giver det en ren og sammenlignelig ramme. Men det er stadig et forskningssetup, ikke en rodet driftssituation med datafejl, skæve incitamenter og folk, der trykker på det forkerte i systemet fredag klokken 16.12.I PSRO-delen bliver begrænsningen endnu vigtigere. Ifølge omtalen brugte forskerne et exact best response oracle beregnet via value iteration og eksakte payoff-værdier for alle meta-game entries. Det fjernede Monte Carlo-samplingstøj fra opsætningen. Metodisk er det stærkt, fordi man bedre kan se, om idéen virker. Men det gør også miljøet pænere, renere og mere kontrolleret end de fleste virkelige problemer, vi ser hos virksomheder.Så nej, det her betyder ikke, at almindelige virksomheder i morgen kan sætte et LLM til at omskrive deres prisalgoritmer og få bedre resultater over weekenden. Det ville være en useriøs læsning. Men det peger på noget vigtigt: at automatiseret søgning i algoritmedesign kan blive en reel vej til bedre beslutningsmotorer i miljøer med modparter, usikkerhed og skjult information.

Det nye er ikke bare mere kode

Der findes efterhånden mange historier om modeller, der skriver kode. Det alene er ikke nyhed længere. Det nye her er, hvis omtalen står til troende, at systemet søger i selve algoritmernes designrum og finder opdateringsregler eller løsningsmekanismer, som mennesker ikke nødvendigvis ville have skrevet først. Det er en anden kategori af forbedring. Mindre assistent, mere medopfinder.Vi tror hos Snilld, at det er den del, erhvervslivet let overser. Mange taler om AI-agenter, der skal tage beslutninger. Færre taler om systemer, der forbedrer beslutningsmotoren under agenten. Men i praksis er det ofte der, værdien ligger. Ikke i en pæn brugerflade, men i en bedre mekanik for, hvordan systemet lærer at reagere på en verden, der reagerer tilbage.Det er faktisk lidt befriende, at nyheden kommer fra et tørt hjørne af forskningen. Ikke fra endnu en stemmedemo eller en avatar med perfekt kæbelinje. Bare algoritmer, kode og benchmarkspil. Det lugter mere af reel fremdrift. Lidt støvet, jo, men den slags holder ofte længst.

Hvad det kan betyde i praksis

For Snillds læsere er den praktiske pointe ikke, at man skal lære CFR i morgen. De fleste skal aldrig røre CFR. Pointen er princippet bag. Hvis systemer kan lære at forbedre selve reglerne for beslutningstagning i strategiske miljøer, så kommer vi tættere på AI, der ikke bare optimerer en fast proces, men kan finde bedre måder at spille mod usikkerhed, konkurrentrespons og skiftende adfærd.Det kan på sigt få betydning i områder som prisstrategi, hvor markedet reagerer på dine ændringer, i forhandling, hvor modparten tilpasser sig, eller i svindelbekæmpelse, hvor angribere konstant skifter mønster. Vi har set mindre glimt af det i kundecases, hvor klassiske regler bryder sammen, fordi modparten lærer hurtigere end forventet. Ikke samme metode som her, nej, men samme grundproblem. Man opdager ret hurtigt, at faste regler er rare, lige indtil verden holder op med at være fast.Når det er sagt, så er broen fra OpenSpiel til drift lang. Ofte irriterende lang. Virkelige systemer har ufuldstændige data, dyre fejl, menneskelige undtagelser og mål, der ikke kan koges ned til én exploitability-måling. Derfor er den rigtige læsning efter vores mening ikke, at DeepMind nu har løst strategisk AI til erhverv. Den rigtige læsning er, at forskningen viser en mulig retning for, hvordan den næste generation af beslutningssystemer kan blive bygget.

Skepsissen er fair

Der er også et par forbehold, man bør sige højt. Det ene er, at vores kildedækning her primært bygger på MarkTechPosts omtale af forskningen. Vi har ikke selve DeepMind-papiret i kildesættet, og derfor skal man være varsom med detaljer om eksakte gevinster, benchmarktal og bredere implikationer. Vi holder os bevidst til det, der beskrives eksplicit i omtalen. Alt andet ville være pynt, og pynt er der nok af på nettet i forvejen.Det andet forbehold er formuleringen om, at systemet slog eksperterne. I den sammenhæng betyder det ifølge omtalen, at nye algoritmevarianter klarede sig konkurrencedygtigt mod eller bedre end hånddesignede state-of-the-art baselines. Det betyder ikke, at menneskelige forskere er ude af loopet. Tværtimod virker hele opsætningen afhængig af menneskers valg af search space, fitnessmål, proxy-spil og evalueringsrammer.Alligevel. Det her er en af de forskningshistorier, der ser smal ud på overfladen, men som kan vise sig at have lang hale. Når et system begynder at redesigne algoritmerne bag strategiske beslutninger i stedet for bare at bruge dem, ændrer det, hvad vi skal holde øje med de næste par år. Ikke bare hvilke modeller der vinder, men hvilke mekanismer de selv lærer at forbedre. Det er der, det bliver alvorligt interessant. Og lidt besværligt, hvis man faktisk skal bruge det.

Kilder

• Google DeepMind’s Research Lets an LLM Rewrite Its Own Game Theory Algorithms — And It Outperformed the Experts
• Google DeepMind’s Research Lets an LLM Rewrite Its Own Game …
• AI News & Updates
• Google DeepMind’s Research Lets an LLM Rewrite Its Own Game …
• Nick Nickoloff, Ph. D.’s Post – LinkedIn
• Marktechpost – Facebook