De hårdeste AI‑sikkerhedsproblemer er nu ude af modellen
På projektets side fremgår det klart, at Top 10’en nu er en del af OWASP GenAI Security Project – en global, open source‑indsats, der dækker LLM’er, agentiske systemer og generativ AI i anvendelse. Missionen er at levere praktiske værktøjer og retningslinjer til udviklere, sikkerhedsfolk og beslutningstagere, og portalen henviser til “Latest Top 10 for LLM Applications” som den løbende opdaterede reference. Signalværdien er tydelig: fokus rykker ud i maskinrummet, hvor data flyder, nøgler deles, og handlinger automatiseres – med tilsvarende nye angrebsveje.
Hvad OWASP faktisk siger
Top 10‑temaerne er velkendte, men mere operationelt vinklede: prompt injection, data‑ og kontekstlæk, utilstrækkelig kontrol af autoritet og ressourcer, output‑integritet samt krav om driftsovervågning og audit. Flere punkter handler om kæden mellem model og omgivelser – ikke modellen i isolation. Eksempelvis bliver mindst mulige rettigheder og styring af sideeffekter centrale, når en agent kan handle via værktøjer eller API’er. Og output‑validering skal fungere som gate, der kan standse skadelige handlinger, før de rammer data eller penge.
OWASP’s projektbeskrivelse gør også klart, at Top 10’en kun er én komponent under GenAI‑paraplyen. Mandatet omfatter identifikation, mitigering og dokumentation af risici ved generativ AI, inklusive agentiske systemer. Det er væsentligt, fordi mange fejl – fra hallucineret fakturaoprettelse til utilsigtet data‑eksfiltration – opstår i ydersystemerne, når modeloutput får lov at køre videre uden kontrol. Her lander også krav om sporbarhed og ansvar: hvem gjorde hvad, hvornår, baseret på hvilket prompt og hvilket output.
Hvorfor skiftet er reelt
Trusselsfladen ændrer sig markant, når LLM’er får adgang til værktøjer og data. En agent, der må læse fra Confluence, skrive i et CRM og sende invitationer, har de facto fået delegeret menneskelig autoritet. Det gør prompt injection mere alvorlig, fordi ét ondsindet dokument kan trigge en kommandokæde med sideeffekter. Og det gør output‑integritet kritisk, fordi modellen ikke bare producerer tekst – den initierer handlinger gennem API’er.
Ressourceforbrug er en anden akilleshæl. Agent‑løkker og lange kæder kan æde compute, API‑kald og kvoter hurtigere end planlagt. Unite.ai peger på, at risikoen ved “authority and resource utilization” er svær at tæmme i praksis, når systemerne får flere beføjelser. Det lyder administrativt, men er et klassisk produktionsspørgsmål: hvem må hvad, hvor længe, med hvilken omkostning – og hvordan ruller man tilbage, når noget går galt på tværs af platforme og usammenlignelige logs.
Konkrete risici, som går igen
Fire kategorier går igen i OWASP‑materialet og uafhængige sammenfatninger: data‑læk, prompt injection, forkert eller utilstrækkeligt kontrolleret output samt svag driftsovervågning uden audit‑trails. Data‑læk handler ikke kun om, at modellen “siger for meget”, men om utilsigtet videregivelse via værktøjskald, chat‑eksporter eller kontekstudvidelser – især når opsætningen løber foran governance. Prompt injection flytter ind i dokumenter, tickets og webindhold, som agenter læser autonomt.
Forkert output virker harmløst, men bliver dyrt, når det mappes direkte til handlinger som ordrer, kundedata eller rettigheder. Her er gatekeeping og sandboxing konkrete modtræk. Driftsovervågning og audit undervurderes ofte: uden detaljeret logging – input, output, tool‑calls, versionsstempler for model og prompt‑skabelon – bliver efterforskning og forebyggelse et lotteri. Det er klassisk operativ disciplin, som nu også gælder AI.
Fra teori til drift
Standardgreb som API‑nøgler og konsolroller rækker ikke alene. Der skal bygges kontroller, der forstår LLM‑mønstre: input‑sanitization mod kendte prompt‑angreb, output‑validering mod farlige handlinger og kontekstbegrænsning, så agenter kun ser det nødvendige. CI/CD for modeller er ikke nice‑to‑have: versionering af prompts, testdækning for kritiske flows og deployment‑gates, før noget rammer produktion, er blevet basis.
Rollebaseret adgang for agenter er mere end et service‑account‑login. Hver evne – læse, skrive, slette, bestille – bør være en separat tilladelse, der kan styres, roteres og revideres. Overvågning skal kunne skelne mellem model‑fejl, misbrugsforsøg og ressource‑anomalier. Og audit‑trails skal være komplette nok til at genskabe et hændelsesforløb, men stadig afbalancerede ift. privatliv og compliance. Det er et kompromisrum, ikke en tjekliste der sidder i skabet første gang.
Tre praktiske startpunkter
1) Kortlæg dataflows og privilegier. Hvilken agent kan se, skrive og handle på hvad – og via hvilke integrationer. Tegn det. Luk åbne sluser. 2) Indfør gate‑ og rollback‑mekanismer i model‑ og agent‑deploys. Nye prompt‑skabeloner eller tool‑bindings går ikke live uden godkendelse og kan rulles tilbage hurtigt. 3) Implementér overvågnings‑ og responsskabeloner specifikt for AI‑fejl: alarmer for usædvanligt mange tool‑kald, kontekstlæk i output og gentagne afviste valideringer. Hav en playbook, der inkluderer at slå værktøjsadgang fra, skifte prompt‑version og informere berørte teams.
Tradeoffs og begrænsninger
Stram sandboxing og mindst‑privilegium kan sænke agentens nytte i komplekse flows. Hyppig validering og human‑in‑the‑loop koster tempo. Overvågning koster penge og opmærksomhed. Unite.ai’s pointe om, at autoritets‑ og ressource‑risici er seje at holde nede, står til troende. Det kræver processer, værktøjer og disciplin – ikke bare en smartere prompt.
Usikkerhederne er reelle: hvor ofte sker fejl i produktion, og hvad er gennemsnitsomkostningen. Offentlige tal er tynde, og OWASP leverer rammeværket, ikke incidensstatistik. Indtil dokumentationen bliver bedre, bør organisationer antage, at fejl sker – og regne konsekvenserne i egen kontekst. En kontrolleret pilot med hårde guardrails er ofte billigere end et stort ryk efterfulgt af brandslukning.
Hvordan det ændrer arbejdet i praksis
Sikkerhedsansvarlige skal supplere traditionelle kontroller med LLM‑specifikke: prompt‑sanitization, output‑gates, kontekstbegrænsning, signering af tool‑kald. DevOps/MLOps må udvide pipelines med model‑ og prompt‑versionering, test af funktionelle og sikkerhedsmæssige cases samt rulleplaner for både model og værktøjsbindingsændringer. Produktansvarlige skal indregne nye risici, når en agent får adgang til kalendere, ERP, CRM eller datarum.
Support og drift bør forvente nye alarmtyper: misbrugsmønstre, spikes i ressourcetræk og usædvanlige beslutningskæder, der ikke ligner klassiske exceptions. Logging og korrelation på tværs af model, værktøj og brugerlag bliver kritisk for at forstå årsager og ansvar. Sikkerhedsarkitekter skal definere mindst‑privilegium for AI‑agenter, inklusive fornyelse og tidsbegrænsning af nøgler, og bygge guardrails omkring handlinger, der påvirker autoritet eller ressourcer – fx økonomi og rettigheder.
Sidebemærkning om tempoet i teknologien
Tempoet er højt andre steder i maskinrummet. Prior Labs har lanceret TabPFN‑3.5, en tabulær foundation‑model, der ifølge MarkTechPost tager førstepladser på flere benchmarks og overgår en vinderløsning fra en kendt Kaggle‑konkurrence – med standardindstillinger og uden per‑datasæt tuning. Relevansen for klassiske virksomhedsdata er åbenlys. Men produktionsbrug kræver licens eller Prior Labs’ API, selvom åbne vægte kan køres lokalt til forskning og evaluering.
Pointen: ydeevne og værktøjer rykker, men governance og licensrammer sætter grænser. Endnu en grund til, at sikkerhed og drift flytter i front. Det er ikke modellen alene, der afgør værdien – det er alt rundt om den.
Hvad man bør gøre nu
Start med en kort, skarp risikoafklaring: hvilke systemer må en agent røre, og med hvilke rettigheder. Læg en plan for prompt‑ og tool‑versionering samt test på de kritiske flows, der rører penge, kunder eller adgangskontrol. Etabler output‑gates for handlinger med sideeffekter, og mål, hvor tit de fanger noget. Indfør audit‑trails, der samler input, output, værktøjsopkald og versionsnumre i ét søgbart spor.
Byg derefter en responsplaybook for AI‑hændelser – som for netværkshændelser. Beslut på forhånd, hvilke beføjelser der kan slås fra, og hvordan I ruller en prompt tilbage uden nedetid. Ja, det koster regnekraft, tid og tålmodighed. Alternativet er dyrere – typisk fredag kl. 16.42.
Huller i dokumentationen
Der mangler stadig åbne, verificerede cases og CVE‑lignende hændelsesrapporter for LLM‑integrationer i produktion. OWASP og Unite.ai dokumenterer risici og mønstre, men ikke incidensrater. Der mangler også økonomiske estimater for CI/CD til modeller, løbende overvågning og compliance. Det gør beslutninger sværere – men ikke mindre nødvendige.
Derudover savnes et klarere billede af, hvordan store enterprise‑leverandører – ERP, CRM, dokumentforvaltning – planlægger first‑party guardrails til LLM‑tilslutning. Indbyggede sikkerhedsfeatures, standarder for tool‑binding og audit‑API’er ville løfte bundniveauet. Indtil da må virksomheder selv sy sikkerhedsnettet. Ikke elegant, men effektivt.
