En ny international AI-konkurrence, K Prize, har netop offentliggjort sine første resultater – og de overrasker både branchefolk og AI-eksperter. Til trods for massiv hype om AI’s evner som softwareudvikler, lykkedes det ikke nogen deltagende model at løse mere end 7,5% af opgaverne korrekt. Det står i skarp kontrast til tidligere populære benchmarks og kalder på kritisk eftertanke hos ledere og udviklingschefer, der overvejer at automatisere kodearbejdet.

K Prize: Et nyt og kontamineringsfrit benchmark

K Prize er stiftet af Databricks og Perplexity-medstifter Andy Konwinski i samarbejde med den uafhængige nonprofit Laude Institute. Konkurrencen sigter efter at skabe et benchmark, der pålideligt reflekterer AI-modellers evner på nye, krævende softwareopgaver – uden mulighed for “snyd” via tidligere adgang til opgaverne. Det opnås ved kun at bruge GitHub-issues, der er opstået efter en fastsat deadline for model-indsendelse. På den måde sikrer arrangørerne, at ingen model kan have trænet på testopgaverne, og benchmarken får dermed i praksis “contamination-free”-status.

Sådan adskiller K Prize sig fra SWE-Bench

For læsere uden indgående kendskab: SWE-Bench er et udbredt benchmark, der tester AI-modeller mod et fast sæt GitHub-issues. Da issues til SWE-Bench er offentligt tilgængelige, kan modeller utilsigtet trænes på netop disse problemer, hvilket kan forvrænge billedet af AI’ens reelle kunnen. K Prize løser dette ved først at udvælge testopgaverne efter deadline for model-indsendelse. Det betyder, at modeller ikke kan forudse eller have set opgaverne under deres træning, og testresultaterne bliver dermed mere retvisende for AI’ens faktiske evner på ukendte problemer.

Resultaterne: Kun 7,5% rigtige svar hos vinderen

Førstepræmien gik til den brasilianske prompt engineer Eduardo Rocha de Andrade, som med 7,5% korrekte svar sikrede sig $50.000. Til sammenligning ligger toptallene for SWE-Bench på 75% (“Verified”/let test) og 34% (“Full”/svær test). Andy Konwinski, initiativtager til K Prize, peger på, at forskellen kan skyldes “forurening” i SWE-Bench-resultaterne – altså at modellerne uforvarende har set testopgaverne under træning. Han understreger dog, at dette stadig er en hypotese, og at det fortsat er uklart, om forskellen helt kan forklares på denne måde. Flere kilder, herunder TechCrunch, noterer, at det også kan skyldes, at K Prize benytter nyere og potentielt mere komplekse issues.

Begrænset regnekraft og åben konkurrence

Konkurrencen er bevidst designet til at udfordre især mindre og åbne AI-modeller. K Prize kører “offline”, hvilket betyder, at deltagerne kun må bruge en forudbestemt og begrænset mængde regnekraft – i modsætning til de store laboratorier, som ofte råder over enorme ressourcer. Ifølge Konwinski er meningen at “level the playing field” og give open source-fællesskabet en reel chance mod de kommercielle giganter. Han har derfor også udlovet $1 mio. til den første open source-model, der opnår over 90% på testen.

Behov for nye benchmarks og kritisk validering

Forskere som Sayash Kapoor fra Princeton har længe argumenteret for, at feltet har brug for kontamineringsfri benchmarks for ikke at overvurdere AI-modellers evner. Kapoor har ikke udtalt sig direkte om K Prize, men hans seneste forskning peger på, at nye, uafhængige tests er nødvendige for at vurdere, om forskelle i benchmarks skyldes “forurening” eller andre faktorer.

Reality check: AI er stadig langt fra menneskelig kodekvalitet

Resultaterne fra K Prize fungerer som et markant reality check for aktører, der overvejer fuld automatisering af softwareudvikling. Når AI-modeller klarer under 10% af nye og ukendte opgaver, er det tydeligt, at menneskelig ekspertise fortsat er nødvendig – især når det gælder komplekse og kreative løsninger. Konwinski pointerer, at det generelle billede af AI som “superudvikler” ikke stemmer overens med virkeligheden, når først opgaverne bliver virkelig nye.

Implikationer for danske virksomheder og udviklingsteams

For danske virksomheder med ambitioner om digital transformation og AI-automatisering er K Prize en påmindelse om, at eksterne benchmarks og markedsføring ikke må stå alene i beslutningsgrundlaget. Det er afgørende at teste AI-løsninger på egne data – og altid have egne udviklere med i valideringen for at sikre relevans og kvalitet. “Plug and play”-løsninger har sjældent magiske effekter i praksis, og resultaterne viser vigtigheden af kritisk sans og løbende eksperimenter.

Snillds anbefalinger i lyset af K Prize

Snillds anbefaling: Vi har vist at AI kan programmere meget mere end 7%. Og i vores hænder løser AI nu 90-95% af vores programmeringsopgaver. Så selv om en AI-model uden guidance og hjælp kun kan løse 7% af opgaverne tilfredsstillende. Så betyder det ikke, at AI-udviklingsmiljøer ikke kan sættes korrekt op, og klare meget mere end blot 7%. Hos Snilld udvikler vi det meste software vha. AI. Systemet der har skrevet denne artikel er programmeret af et AI-udviklingsmiljø. Vi ser K Prize som en konstruktiv påmindelse om, at AI-værktøjer stadig kræver menneskelig kvalitetssikring, kritisk evaluering og kendskab til korekt anvendelse og konfiguration. For virksomheder anbefaler vi at:

• Afholde workshops om AI-evaluering og valg af relevante værktøjer
• Teste både åbne og lukkede modeller på virksomhedens egne kodeopgaver
• Udvikle en strategi hvor automatisering konstant balanceres med menneskeligt tilsyn

Vi hjælper gerne med at facilitere uddannelse, testforløb og rådgivning om bedste praksis for at opnå reel værdi med AI uden at gå på kompromis med kvaliteten.

Open source-innovation får et skub

Det udloddede millionbeløb til den første open source-model over 90% kan blive en væsentlig drivkraft for innovation – især blandt mindre aktører, forskningsmiljøer og open source-fællesskabet, der ofte arbejder i skyggen af de store spillere. Historisk har lignende konkurrencer været med til at accelerere udviklingen og skabe gennembrud, som hele industrien har fået glæde af.

Fremtidige forventninger og branchens næste træk

Arrangørerne forventer, at resultaterne gradvist vil forbedre sig, i takt med at flere deltager og modeller optimeres til de skærpede vilkår. Andy Konwinski understreger dog, at det store spring fra under 10% til 90% ikke kommer fra den ene dag til den anden. Indtil videre står det klart, at AI stadig har et stykke vej til menneskelig ekspertise, når det handler om ukendte og komplekse kodeopgaver.

Kritisk nysgerrighed og datadrevet eksperimentering i centrum

Budskabet fra K Prize er tydeligt: AI kan meget, men stadig kun med kritisk, menneskelig kontrol og løbende, datadrevet eksperimentering. Vi opfordrer danske virksomheder til at gå nysgerrigt, men forsigtigt til værks – og altid måle effekten på egne betingelser, ikke kun på hype og mediehistorier. Forvent ikke magi; forvent hårdt arbejde, tålmodighed – og et sundt niveau af skepsis, mens AI-værktøjerne bliver bedre, én kodeopgave ad gangen.

Kilder:

• https://techcrunch.com/2025/07/23/a-new-ai-coding-challenge-just-published-its-first-results-and-they-arent-pretty/
• https://techcrunch.com/2025/07/23/a-new-ai-coding-challenge-just-published-its-first-results-and-they-arent-pretty/
• https://andykonwinski.com/2024/12/12/konwinski-prize.html
• https://techcrunch.com/2025/07/23/a-new-ai-coding-challenge-just-published-its-first-results-and-they-arent-pretty/
• https://www.swebench.com/
• https://www.maginative.com/article/openais-new-benchmark-tests-ai-models-against-real-world-software-engineering-tasks/

Målgruppens mening om artiklen

Martin Holm, Software Engineer:Jeg giver artiklen en score på 80. Den tager fat på et vigtigt problem inden for AI-udvikling og benchmark-testing, som står helt centralt for vores forståelse af, hvad AI-teknologi formår i dag. Som softwareingeniør finder jeg især de nye metodologier i K Prize interessante for mit fagområde.

Jacob Pedersen, Senior Financial Analyst:Min vurdering er 75. Artiklen belyser relevante aspekter omkring AI og innovation, som er i dialog med de finansielle risici og strategiske planlægning, jeg beskæftiger mig med. Jeg finder den økonomiske og teknologiske perspektivinddragelse inspirerende, men savner lidt dybere analyser af de forretningsmæssige implikationer.

Laura Thomsen, Operations Manager:Jeg vil give artiklen en score på 85. Den tager fat på kritiske emner for AI inden for procesoptimering og teknologiimplementering, som begge er vitale for effektiv ledelse. Det er en væsentlig påmindelse om hvor langt vi stadig er fra fuld AI-automatisering, hvilket er vigtigt for beslutningstagning i projektledelse.

Sofie Andersen, Digitaliseringsekspert:Artiklen scorer efter min mening 78. Den adresserer nødvendigheden af nye benchmarks og kritisk evaluering af AIs formåen med en opmærksomhed, der resonerer med min interesse for teknologisk ansvarlighed. Jeg sætter pris på fokusset på kontamineringsfri benchmark-resultater.

Peter Hansen, Produktionschef:Jeg giver den 70. Artiklen bringer vigtige emner op om AI-teknologiens nuværende grænser og potentiale, men jeg ser gerne flere direkte links til produktionsbeslutninger og strategiske overvejelser. Alligevel, er det tydeligt, at AI har en vej at gå inden fuld implementering i mit felt.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af Fluxx Schnell fra Black Forest Labs.