AI‑agenter får mere frihed, end virksomheder kan nå at holde øje med. Ifølge VentureBeats gennemgang af VB Pulse fra juni 2026 har halvdelen af de adspurgte sendt en agent eller LLM‑funktion i produktion, der bestod de interne evalueringer, men alligevel udløste en kundevendt fejl. Én ud af fire så det ske igen. Samtidig siger 66 procent, at de allerede kører noget i produktion uden menneskelig review eller planlægger det inden for 12 måneder. Kun 5 procent stoler fuldt på de automatiserede evalueringer, som skal understøtte de beslutninger. Det er kløften.
Det er en driftsrisiko. For kunder, for omdømme, for budgetter, når kontrollene må bygges baglæns.
Hvad undersøgelsen siger
VB Pulse omfatter 157 enterprise‑respondenter i selskaber med mindst 100 ansatte. Udvalget er selvselekteret, så tallene er retningsgivende, ikke præcise markedsandele. Mønstret er dog klart: mere autonomi, lav tillid til automatiseret verifikation.
I årsagerne til mistillid topper svag kobling til reelle resultater med 29 procent. Derefter bias eller inkonsistens med 21 procent, manglende forklarbarhed 18 procent og risiko for data‑lækage 17 procent. Pointen er forudsigelighed og robusthed—ikke testhastighed.
Hvorfor en bestået test ikke er nok
Tre korte scenarier i øjenhøjde:
- Kontoopdatering: Agenten finder korrekt konto, men opdaterer forkert felt. Konsekvens: stille datakorruption, først opdaget sent.
- Refund‑flow: Fin tekst, men sendt uden godkendelse. Konsekvens: regnskabsrod og uens praksis.
- Logning: Fem gode værktøjskald, men i sjette lækkes et internt ID i en ekstern log. Konsekvens: privacy‑hændelse uden alarm.
Hvert trin ser rimeligt ud isoleret. Sluttilstanden er forkert. Klassisk softwaretest fanger sjældent hele kæden, især når adfærden varierer fra kørsel til kørsel.
Metoden og dens begrænsninger
VentureBeat gør det tydeligt, at undersøgelsen ikke er et sandsynlighedsudvalg. Teams med høj AI‑aktivitet kan være overrepræsenteret. Læs derfor procenterne som pejlemærker. Men de flugter med tekniske forklaringer andre steder, hvilket gør signalet svært at afvise som støj.
Det væsentlige for læseren: Tag konklusionen som retning, ikke som en branchenorm i eksakte tal.
Den tekniske forklaring
Anthropic beskriver udfordringen skarpt: Agent‑evaluering er sværere end klassisk test, fordi systemet selv vælger trinene, kalder værktøjer, ændrer tilstand og ikke nødvendigvis opfører sig ens fra run til run. En enkelt succes viser kapabilitet, ikke konsistens. Eller mere jordnært: at lykkes én gang er ikke det samme som at lykkes pålideligt.
Konsekvensen er praktisk: mål varians, ikke kun gennemsnit. Og byg evalueringsspor, der afspejler forgrenede scenarier, ikke kun flade spørgsmål‑svar‑tests. VentureBeats gennemgang af fejltyper peger samme vej: plausible mellemtrin kan ende forkert—selv når hvert trin så fornuftigt ud alene.
Typiske fejlkæder
Der, hvor tilstand og værktøjer mødes, opstår fejl:
- Kundeopdatering: korrekt identifikation, forkert felt pga. skævt skema eller alias. Små navneafvigelser, store CRM‑følger.
- Refund‑proces: god begrundelse, solidt udkast—men ingen eskalation. Ét manglende permission‑check.
- Datahåndtering: playbook følges, men cases kopieres til analysetool uden redaktion. En loglinje her, en buffer der. Først opdaget ved audit.
Hvorfor mange kører uden menneskelig review
Hvordan hænger 66 procent sammen med lav eval‑tillid? Skaleringstryk. Kundeservice, finans, interne vidensagenter—køer forsvinder ikke af sig selv. Hvert manuelt trin koster. For lavrisiko‑opgaver er menneskelig godkendelse ofte for dyrt.
Fravær af mennesker kræver stærkere automatiske værn. Her åbner kløften sig.
Når målinger ikke overføres til drift
VentureBeat refererer NISTs generative AI‑profil, som påpeger, at målinger fra kontrollerede miljøer ikke automatisk overføres til produktion, fordi adfærd skifter med prompts, brugere, kontekst og forhold. Anbefalingen er simple ting, der virker: felt‑test, overvågning efter udrulning og klare eskalationsveje.
Det er hverdagens behov. Ikke fodnoter.
En retrofit‑periode er i gang
Budgetter flyttes mod kontrollag: identitet, evalueringsrammer, omkostningskontrol, kontekststyring, orkestrering og observability. AWS’ eksempel med en semantisk layer via Stardog oven på Bedrock AgentCore illustrerer retningen: samlet auth, værktøjskredentialer, kontrolleret adgang og en semantisk struktur, der mindsker fejl i værktøjskald og forespørgsler.
Det er byggesten, ikke en færdigløsning. Platforme leverer dele, som virksomheder samler til governance: tilladelser ét sted, eval‑pipelines et andet—bundet sammen af telemetri.
Hvad det betyder i praksis for teams
Produktledere og AI‑PM’er: Læn jer ikke op ad én intern score. Rul ud i trin med målepunkter for både succes og skade. Sæt eksplicitte rollback‑kriterier—hvis fejlrate krydser en aftalt tærskel eller der ses token‑ eller credential‑exfiltration, går flow i karantæne.
Drift og support: Hav agent‑specifikke playbooks. Hurtig rollback, bevarede auditlogs og debug‑traces for hvert værktøjskald og beslutningspunkt. Forklarbarhedshooks bruges til triage, ikke pynt.
Sikkerhed og compliance ind i evalueringerne
Når 29 procent peger på alignment‑svigt og 17 procent nævner data‑læk, er signalet klart: risikoscenarier skal ind før udrulning. Kræv dataflow‑audits, scannere for tokens og nøgler samt gating af sensitive endpoints. Letvægtsværn hjælper: proxy‑gates med regelbaserede checks fanger mange læk ved prompt‑ eller værktøjskald.
Målet er simpelt: gør fejl dyre for systemet—ikke for kunden.
Roadmap i prioriteret rækkefølge
- Stress‑ og modprøve‑evalueringer: Kør de samme scenarier mange gange med små variationer; mål både succes og negativ impact. Vægt forkerte sluttilstande højt.
- CI/CD for modeller og agenter: Versionér prompts, værktøjsbindinger og eval‑suiter. Kør regression ved ændringer i model, plug‑ins eller dataschema.
- Gatekeepers for sensitive flows: Tilladelseslag og menneskelig eskalation for finansielle, juridiske og PII‑tunge handlinger.
- Felt‑test før fuld udrulning: Dark launches, skyggekørsler og kanarier med fokus på slut‑outcomes, ikke bare mellemtrin.
- Post‑deploy‑overvågning: Trace‑niveau observability, driftstelemetri og alarmer på mønstre—ikke kun enkeltfejl.
- Omkostnings‑ og credential‑kontrol: Kvoter per agent, nøglerotation samt isolering af secrets og værktøjer pr. miljø.
Det ligner DevOps for agenter. Med skarpere kanter.
Implementeringsadvarsler og tradeoffs
Kontrollag koster. I starten mere. Evalueringer skal bygges, datasæt kurateres, teams lære nye værktøjer. Uden data‑ops bliver governance kosmetik: uden lineage, skemakontrol og adgangsstyring ender man med dashboards, der ser trygge ud—uden effekt.
Organisatorisk kræver det klar ansvarsdeling: drift ejer overvågning og rollback, produkt ejer succesmetrikker og kundeeffekt, sikkerhed ejer tilladelser og lækscenarier, data‑ops ejer schema og kvalitet. Færre gråzoner, mindre friktion. Og ja—lidt længere time‑to‑market og højere latency kan være prisen for højere sikkerhed og færre kunde‑skader.
Hvad platforme tilbyder nu
Amazons Bedrock AgentCore samler inbound‑auth, hosting og tool‑credentials i en forvaltet pakke. Kombineret med en semantisk layer som Stardog kan det reducere fejl i forespørgsler ved at give agenten en mere struktureret forståelse af data. Det løser ikke alt—men færre frie teksttolkninger giver færre skæve joins.
Anthropic anbefaler at måle forskellen på “kan lykkes én gang” og “lykkes pålideligt”. Skru op for scenariekompleksitet, og lad produktionshændelser blive til permanente regressionstests.
Hvad der stadig mangler
Standarder for agent‑evaluering er umodne. Mange benchmarks er single‑turn og siger for lidt om flertrinsadfærd. Fælles, åbne datasæt til feltmålinger savnes. Og de juridiske gråzoner ved autonome handlinger er ikke afklaret overalt. Større, repræsentative undersøgelser og cases med før‑/efter‑tal på fejlreduktion efterlyses.
Der mangler også bedre omkostningsmodeller: Hvad koster et fuldt kontrollag at bygge og drive? Uden benchmarks må budgetter gætte, og beslutninger trækker ud.
Skeptikerens vinkel
Nogle CIO’er fortsætter i højt tempo trods lav eval‑tillid. Begrundelserne er velkendte: konkurrencepres, lav fejltolerance, jagt på førsteflytter‑fordele. Det er et bevidst valg—med kendte risici som periodiske kundefejl, højere supporttryk og dyrere retrofits.
Forskellen ligger i værnene. Selv højtempo‑teams kan køre med hårde gatekeepers, aggressive rollback‑mekanismer og tydelig telemetri. Det dæmper tabet, når noget går galt. For det gør det.
Konklusion
Evaluation gap’et er reelt. VentureBeats gengivelse af VB Pulse peger samme vej: agenters autonomi stiger, tilliden til automatiserede evalueringer gør ikke. Vej frem: governance som kode, tests der måler stabilitet og skade, og overvågning der fanger fejl i felten. Forvent en retrofit‑periode. Man mærker forskellen, når man kan læse sin trace tirsdag nat og rulle sikkert tilbage.
