Artikler med tag: AI Evaluering

Et Cambridge/DeepMind-hold lancerer XConf, en erfaringsbaseret metode til at måle LLM’ers selvtillid. Ifølge primærkilden matcher én modelkørsel ti-prøvers self-consistency i 23 ud af 24 sammenligninger, men kun når rigtige/forkerte labels kommer udefra. Det kan skubbe produktionsteams væk fra logprobs og N-kørsler – og hen mod feedback-infrastruktur, governance og løbende kalibrering.

Anthropic annoncerede 18. september 2026 et partnerskab med Accenture om uafhængig, ’embedded’ evaluering af frontier‑AI. Aftalen “will be led by Faculty, Accenture’s specialist AI business” og dækker evaluering, red‑teaming, alignment‑vurderinger og test af model‑sikkerhedsforanstaltninger. Begge parter forventer at investere mindst 1 mia. USD over fem år. Skiftet peger fra punktvise tredjepartsreviews mod løbende evaluering med intern adgang — men efterlader åbne spørgsmål om governance og uafhængighed.

AI-evalueringer flytter fra begreber til praksis i ML-pipelines, understøttet af NISTs AI RMF og velbeskrevne benchmark- og sikkerhedsmetoder. Tech-pressen rapporterer samtidig om mere lukkede frontier-modeller som OpenAIs GPT-6 Astra, hvilket styrker behovet for eval-gates og driftsovervågning. Hvor kilderne er entydige, holder vi os til dem. Hvor de ikke er det, markeres usikkerheden klart.

LLM-dommere lover skalerbare evalueringer, men uden kalibrering, versionering og løbende validering kan de give falsk tryghed. Nye vejledninger og et levende benchmark peger på konkrete tiltag: begræns kriterierne, brug binære afgørelser, tving begrundelser, kalibrér mod menneskelige labels og overvåg dommeren som et lille ML-system, ikke som en hurtig prompt.

I juli 2026 beskrev Towards AI og anden dækning et forløb, hvor hændelser knyttet til evalueringsrammer og agent‑benchmarks nåede ud over sandboxen og ind i rigtige systemer. Tidslinjen og flere tekniske mekanikker stammer fra de nævnte artikler og er endnu ikke bredt uafhængigt verificeret.

OpenAI flytter test af generative modeller tættere på virkeligheden med Deployment Simulation. Metoden genafspiller historiske samtaler mod en kandidatmodel før release, måler uønsket adfærd i skala og kan gentages efter lancering for at tjekke forudsigelser. Den reducerer bias og øger dækning – men har et detektionsgulv, koster betydelig compute og efterlader åbne spørgsmål om privatliv og grader-nøjagtighed.