En enkelt samtale kan se fejlfri ud. Høflige afklaringer, pæne mellemregninger, et svar der ligner facit. Alligevel kan produktet bag være i stykker. Det er hovedpointen i VentureBeats dækning fra VB Transform 2026, hvor Harrison Chase (LangChain), Hui Zhang (Conviva) og Emmanuel Turlay (CoreWeave) delte erfaringer om evaluering af AI‑agenter. Se deres udsagn i VentureBeats artikel her: VentureBeat.
VentureBeat skriver, at kløften mellem en pæn enkeltsamtale og et reelt velfungerende produkt driver et skifte i praksis: væk fra scoring af individuelle traces og hen mod at sammenligne brugercohorts mod en baseline. Ifølge dækningen er det dér, mønstrene og fejlklasserne bliver synlige på tværs af brugere og tid.
Hvad panelet sagde
Harrison Chase beskrev det, VentureBeat kalder eval paralysis: teams, der forsøger at bygge et altomfattende eval‑sæt som forudsætning for en lancering. Han fremhævede, at de mest effektive teams lancerer og itererer løbende, og at evals fungerer bedst som en levende specifikation snarere end et engangsgate. Se citaterne i VentureBeat.
Hui Zhang pegede i samme artikel på en grundlæggende spænding: automatiseret bedømmelse med LLM’er eller agenter skalerer, men kan være svær at forankre i fakta; menneskelig gennemgang er bedre forankret, men skalerer dårligt. VentureBeat gengiver hans formulering som et valg mellem to onder – hvilken “gift” man vil vælge.
LLM‑as‑judge, agent‑as‑judge og bevægelsen mod cohorts
Panelet, som gengivet af VentureBeat, vurderer også status for automatiserede dommere. Agent‑as‑judge har ikke erstattet LLM‑as‑judge; LLM‑as‑judge beskrives fortsat som standardtilgangen. Samtidig nævner dækningen en parallel bevægelse mod smallere og billigere dommermodeller til afgrænsede opgaver, uden at der præsenteres brede offentlige benchmarks for deres performance.
Kernen i skiftet handler dog om perspektiv. VentureBeat beskriver, at flere virksomheder bevæger sig væk fra isoleret scoring af enkelte samtaler og over mod cohort‑kontrastering op mod en etableret baseline. Pointen er at fange mønstre og regressionsklasser på produktniveau i stedet for at blive forblændet af enkelte gode eksempler.
Altid‑på overvågning og grænser for pre‑launch dækning
Emmanuel Turlay fremhæver i VentureBeats artikel, at selv meget høj testdækning før lancering ikke fangede alle fejl, som dukkede op i produktion. Ifølge dækningen fanger bred, altid‑på monitorering flere reelle fejl, fordi brugere presser systemet uforudsigeligt i drift. Online observationer kan derefter bruges til at prioritere og skærpe målrettede offline tests omkring identificerede fejlkategorier.
Den prioritering lægger sig direkte i forlængelse af skiftet mod cohorts og baselines. Man måler det, brugerne rent faktisk møder, og bygger sin forbedringssløjfe på dokumenterede afvigelser, ikke kun på en idealiseret testsuite.
Hvorfor en perfekt trace kan skjule et defekt produkt
VentureBeat beskriver, at enkelttraces let bliver misvisende som produktmål, fordi de mangler sammenligningsgrundlag og tværsnit for at afsløre mønstre. En pæn samtale uden kontekst siger ikke meget om stabilitet, variation og failure‑modes på tværs af segmenter. Derfor er baseline og kohorter centrale – det gør det muligt at se, om en ændring faktisk forbedrer produktet for lignende brugere i lignende situationer.
Et beslægtet teknisk designvalg, som er beskrevet i en separat støtteartikel, handler om, hvor meget kontekst en agent skal “se” tidligt i et forløb, kontra hvad der først hentes, når det er nødvendigt. Den problemstilling – beskrevet som eager kontra just‑in‑time kontekst i denne artikel – påvirker blandt andet latenstid og omkostninger og kan dermed også præge de traces, man siden analyserer.
Eval‑metoder i bevægelse
VentureBeats dækning peger på en gradvis udvikling: individuelle traces var et startpunkt, og LLM‑as‑judge har gjort automatisk bedømmelse mere praktisk i skala. Agent‑as‑judge er fortsat ikke dominerende, og billigere, smallere dommermodeller er på vej ind til enklere opgaver. Uden brede sammenlignelige benchmarks er rækkevidden dog stadig uklart belyst offentligt.
I samme spor er evals på vej til at fungere som en slags produktkrav – en PRD i bevægelse – ifølge Chase, sådan som VentureBeat refererer ham. Det gør evals til en vedligeholdt beskrivelse af ønsket adfærd og grænser, snarere end en låst testpakke.
Cohort‑evaluering i praksis
For at gøre cohort‑tilgangen anvendelig fremhæver VentureBeat behovet for en klar baseline og sammenligninger på tværs af segmenter. En supplerende manual brief peger på praktiske skridt i samme retning: instrumentering af væsentlige brugerflows, opsætning af kontrol og eksperiment (A/B eller multi‑arm), definition af forretningsnære KPI’er samt automatiseret, løbende regressionstest og overvågning. Se den linje i den tilhørende manual brief.
Det centrale er koblingen mellem målinger og faktiske beslutninger. Uden en baseline og veldefinerede sammenligninger bliver scorer fra enkelte samtaler vanskelige at omsætte til konkrete produktændringer.
Tradeoffs og kendte begrænsninger
VentureBeat refererer den grundlæggende spænding mellem skalerbar, automatiseret bedømmelse og mere jordnær, men dyrere menneskelig review. Dertil kommer, at bevægelsen mod billigere dommermodeller især er omtalt som tendens, uden de store, offentlige benchmarks. Det efterlader et praktisk spørgsmål om, hvor de billige modeller gør mest gavn, og hvor de ikke rækker.
Et andet hul, som VentureBeat påpeger indirekte, er manglen på bredt tilgængelige, kvantitative data for gevinsterne ved cohort‑evaluering. Dækningen rummer tydelige udsagn og erfaringer fra panelet, men ikke aggregerede tal for forbedringer på tværs af virksomheder.
Praktiske skridt man kan tage nu
På baggrund af VentureBeats dækning og den supplerende brief tegner der sig en nøgtern minimumsliste: sørg for grundlæggende instrumentation af centrale brugerflows, definér en baseline og kør kontrollerede sammenligninger, bind evalueringskriterier til mål, der betyder noget for forretningen, og automatisér en regressionssløjfe med løbende overvågning. Disse skridt går igen i de kilder, der er linket herover.
Formålet er ikke at score en flot enkeltsamtale, men at opdage og udbedre mønsterfejl i praksis. Det kræver kontinuerlig observation af, hvad der faktisk sker for brugerne – ikke kun hvad en testsuite dækker teoretisk.
Bundlinjen
Pointen fra VB Transform 2026, som gengivet af VentureBeat, er enkel at verificere og svær at ignorere: Enkelttraces kan se smukke ud og stadig pege på et defekt produkt. Skiftet mod cohorts, baselines, altid‑på overvågning og evals som levende specifikation er panelets opskrift på at mindske kløften mellem demo og drift. Se hele referatet hos VentureBeat.
