Ifølge Towards AI beskriver artiklen The Right Way to Do AI Evals in 2026 en eval-drevet tilgang, hvor man kører den rigtige model mod virkelige, optagede sager og måler på faktiske udfald. Pointen i kilden er, at mocked unit tests ofte skjuler det lag, der betyder mest i praksis, nemlig modeladfærden. Forfatteren bruger betegnelsen eval-driven vibe coding om denne måde at arbejde på og præsenterer den som en letvægtsmetode, der ikke kræver ML-team, eval-platform eller forskningsbudget (kilde 3084).
I samme Towards AI-kilde refereres tal fra LangChains State of Agent Engineering med 1.340 svarpersoner i slutningen af 2025. Her angives, at 89 procent af teams, der bygger AI-agenter, har observability, mens omtrent halvdelen kører offline evals mod et test-sæt. Disse tal bruges i artiklen til at understrege et hul mellem overvågning i drift og egentlig test (kilde 3084).
Definition og afgrænsning
Towards AI definerer evals som at køre den faktiske model og vurdere faktiske udfald, for eksempel om et bestemt værktøj blev kaldt, eller om en database endte i en forventet sluttilstand. Det fremhæves, at dette dækker netop de lag, som lag-nære unit tests ofte mocker væk. I kildens fremstilling er evals et supplement til klassiske tests, ikke en erstatning (kilde 3084).
Artiklen lægger vægt på, at forskningsbenchmarks fungerer som referencer, men at de kan være dyre, mens et sæt fokuserede gyldne cases kan give hurtig, relevant feedback tættere på produktets værktøjer og dataflow. I kilden formuleres det, at et fuldt produkt-eval-run kan koste omkring 0,56 dollar, mens forskningsbenchmarks kan koste tusinder. Den pointe fremføres eksplicit i Towards AI-artiklen (kilde 3084).
Den konkrete anekdote og hvad den viser
Towards AI gengiver en specifik anekdote fra forfatteren: En enkelt linjes ændring i en værktøjsbeskrivelse fik assistenten til at stoppe med at kalde værktøjet. Alle mocked tests forblev grønne, og regressionen blev først opdaget ved at køre den rigtige model mod optagede sager. I artiklen bruges denne enkeltcase som illustration af en klasse af fejl, der handler om modeladfærd, og som derfor opdages bedre af evals end af mocked unit tests (kilde 3084).
Anekdoten er præsenteret som forfatterens konkrete erfaring og tjener i artiklen som motivation for at supplere klassiske tests med et eval-lag, der kører den faktiske model. Der påstås ikke en bestemt hyppighed af netop denne fejltype ud over casens illustrative værdi i kilden (kilde 3084).
Opsætning med gyldne cases
Ifølge Towards AI beskrives et enkelt setup, hvor hver sag gemmes som en linje i en JSONL-fil med input, forventet udfald og simpel eval-logik. Eksemplerne i artiklen inkluderer kontroller af, om et defineret værktøj blev kaldt med forventet payload, eller om sluttilstanden i et system matcher forventningen. I forfatterens eksempel bruges 36 gyldne cases, uden nye afhængigheder, med en anslået omkostning på cirka 0,56 dollar per fuldt produkt-eval-run. Disse detaljer er eksplicit angivet i kilden som forfatterens eget setup (kilde 3084).
Towards AI sammenfatter nogle praksisanbefalinger: Start med 20–50 sager, der stammer fra reelle fejl. Hold LLM-dommeren binær. Og læg evals i CI uden at lade dem gate leverancer. I artiklen fremhæves denne kombination som et praktisk minimum, der giver signal om regressioner uden at stoppe leverancen (kilde 3084).
Hvorfor evals ifølge kilden
I Towards AI-teksten argumenteres der for, at eval-suiter giver et mere driftstæt kvalitetssignal, fordi de kører modellen og måler adfærd, hvor mocked tests primært verificerer lim-koden omkring. Pointen i artiklen er, at fejl, som ellers først opdages af brugere, kan fanges tidligere via evals. Samtidig fastholdes, at evals indgår som supplement, ikke som erstatning for øvrige testlag. Alle disse pointer er præsenteret direkte i kilden (kilde 3084).
I kildens fremstilling er der desuden en prioritering: Kom i gang med få, vigtige gyldne cases og et stabilt, binært dommer-setup. Større eval-investeringer giver først mening, når der er et grundsignal og konkrete behov for bredere dækning. Det er den skaleringslogik, der er udlagt i Towards AI-teksten (kilde 3084).
Relateret perspektiv på agenters autonomi
Et supplerende perspektiv i materialet kommer fra VentureBeat. Her beskrives, at virksomheder, som lykkes med AI-agenter, ofte afgrænser agentens råderum med klare regler og specifikke ansvarsområder frem for at give maksimal autonomi. VentureBeat gengiver desuden et Gartner-skøn om, at mere end 40 procent af agentiske AI-projekter, der kører i midten af 2026, ikke forventes at overleve til 2028. VentureBeat skriver, at årsagerne ofte knytter sig til stigende omkostninger og uklar forretningsværdi. I denne artikel fremføres Gartner-prognosen via VentureBeat-kilden (kilde 3086).
VentureBeat-stykket fungerer i denne sammenhæng som baggrund for den måde at tænke agentisk drift på, der også ligger implicit i Towards AI’s fokus på evaluerbar adfærd tæt på produktet. Anbefalingen om afgrænset autonomi og tydelige regler er derfor præsenteret som VentureBeats iagttagelse, med Gartner-citatet refereret via samme artikel (kilde 3086).
Hvad kilderne samlet dokumenterer
Samlet dokumenterer kilderne en praksisnær vej til mere robust AI-drift: Kør evals med den rigtige model mod virkelige sager, mål binært på adfærd, og lad ikke evals gate CI. Ifølge Towards AI kan dette implementeres uden dedikeret eval-platform, ML-team eller forskningsbudget. Eksemplet med 36 gyldne sager og en omkostning på cirka 0,56 dollar per fuldt run er fremlagt som forfatterens konkrete referenceopsætning i kilden (kilde 3084).
VentureBeat-kilden tilfører et forretningsnært bagtæppe for agentiske systemer, herunder den via VentureBeat gengivne Gartner-forudsigelse om projektfrafald og behovet for skarp afgrænsning af agenters autonomi. Det perspektiv indrammer, hvorfor evaluerbare, produktnære metoder bliver relevante i driftssammenhænge, sådan som VentureBeat skriver det med henvisning til Gartner (kilde 3086).
Konklusion
I de anvendte kilder tegnes en konsistent linje: Teams overvåger ofte mere, end de tester, og et eval-drevet setup kan lukke hullet ved at måle på faktiske modeludfald i produktnære scenarier. Den fremgangsmåde er i Towards AI-kilden knyttet til gyldne cases, binær dom og integration i CI uden gating. Tallene om 89 procent observability og cirka halvdelen med offline evals refereres i artiklen som stammende fra LangChains undersøgelse i slutningen af 2025. VentureBeat føjer et relateret forretningsperspektiv til billedet og refererer herunder en Gartner-prognose via deres dækning (kilder 3084, 3086).
