MIT beskriver i en nyhedsartikel en metode, udviklet sammen med nonprofitorganisationen Thorn, som sigter mod at afsløre, om en generativ AI-model er i stand til at producere materiale med seksuelle overgreb mod børn, uden at modellen bliver promptet til at generere noget output. Ifølge MIT er formålet at kunne teste kapacitet uden at skabe ulovligt indhold. MITs nyhed dækker også udviklerholdet og samarbejdet med Thorn, der ifølge MIT arbejder for at beskytte børn mod seksuelt misbrug og udnyttelse i den digitale tidsalder.
MIT fremhæver samtidig omfanget af problemet ved at henvise til tal fra National Center for Missing and Exploited Children. MIT rapporterer, at NCMEC modtog mere end 1,5 millioner indberetninger om AI-genereret CSAM i 2025, op fra 67.000 i 2024. I MITs artikel anføres det desuden, at det i USA er ulovligt at generere CSAM uanset hensigt, hvilket ifølge MIT gør test ved at prompt’e og inspicere output uanvendelig i denne sammenhæng.
Hvorfor åbne modeller fremhæves af MIT
MIT peger på, at mange open-source generative modeller i dag er frit tilgængelige online og kan tilpasses til et givent formål, eksempelvis produktvisualiseringer i en bestemt stilart. Samtidig skriver MIT, at modeller også kan ende hos aktører med onde hensigter, der optimerer dem til at producere ulovligt indhold, herunder hadetale og CSAM. Kombinationen af bred adgang og tilpasningsmuligheder er den ramme, MIT bruger til at motivere en audittilgang.
I den ramme handler initiativet, som MIT beskriver det, om at kunne teste, om en model er gjort i stand til at generere skadeligt indhold, uden at nogen skal frembringe det indhold. MIT omtaler dette som at håndtere et “blindt punkt”, fordi almindelig praksis ofte er at inspicere modeloutput, hvilket MIT skriver ikke er lovligt i dette tilfælde.
Hvad metoden gør ifølge MIT
Ifølge MIT undersøger tilgangen de skjulte repræsentationer i modellen fremfor at generere billeder eller tekst. Ved at se på, hvordan modellens indre repræsentationer er blevet tilpasset, kan proceduren ifølge MIT udlede, om modellen er specialiseret til at frembringe skadelig billedlig fremstilling. MIT understreger, at der ikke genereres output i auditten.
MITs artikel navngiver de ansvarlige fra MIT-siden som ph.d.-studerende Vinith Suriyakumar og lektorerne Ashia Wilson og Marzyeh Ghassemi, og beskriver samarbejdet med Thorn. MIT citerer Suriyakumar for, at der tidligere manglede en måde at måle dette på, og at metoden kan adressere et sikkerhedsproblem.
Resultaterne som gengivet af MIT
MIT skriver, at da forskerholdet testede proceduren, identificerede den modelvarianter, som var specialiseret til at generere CSAM, med 100 procent nøjagtighed i deres tests. I artiklen fremstår tallet som forskerholdets eget resultat fra deres testopsætning, sådan som MIT refererer det. MIT leverer ikke yderligere kvantitativ dokumentation for generalisering ud over denne oplysning.
MIT peger også på et konkret anvendelsessted: en hostingplatform kunne bruge teknikken til at flagge usikre modeller og hurtigt fjerne dem eller forhindre, at de uploades. Ifølge MIT åbner det for, at værter af open-source modeller kan teste for CSAM-kapacitet uden at generere ulovlige outputs.
Det juridiske udgangspunkt som gengivet af MIT
MIT karakteriserer amerikansk lov sådan, at det er ulovligt at generere CSAM uanset hensigt. MIT præsenterer denne præmis som forklaringen på, hvorfor traditionel prompt-baseret evaluering ikke er brugbar her. I den optik beskriver MIT idéen om at inspicere interne repræsentationer – frem for outputs – som central for den foreslåede løsning.
MITs artikel forholder sig ikke til yderligere juridiske detaljer ud over denne karakteristik. Den mulige driftsanvendelse, som MIT nævner for hostingplatforme, beskrives på forslag-niveau i nyheden.
Hvad MITs nyhed ikke dokumenterer i detaljer
MITs nyhed indeholder ikke en udtømmende teknisk gennemgang af datasæt, modelarkitekturer eller fejlrater ud over oplysningen om 100 procent nøjagtighed i testene. Artiklen fungerer som en nyhedssammenfatning af forskerholdets tilgang og samarbejdet med Thorn. MITs tekst henviser ikke til specifikke parametre eller metoder ud over, at teknikken ser på skjulte repræsentationer fremfor generatoriske outputs.
MITs nyhed leverer heller ikke separate kilder for NCMEC-tallene i artiklen. Tallene fremgår som MITs gengivelse af NCMECs opgørelser i nyhedsteksten.
Samlet relevans ifølge MITs beskrivelse
Set samlet peger MITs artikel på tre ting: at åbne generative modeller er udbredte og kan tilpasses, at risici for misbrug eksisterer, og at en auditmetode uden outputgenerering kan være et praktisk værktøj. I den sammenhæng nævner MIT, at værter af open-source modeller kan bruge teknikken til at opdage og håndtere usikre modelvarianter ved upload eller moderering.
Thorn beskrives i MITs artikel som en børnesikkerhedsorganisation, der arbejder for at beskytte børn mod seksuelt misbrug og udnyttelse i den digitale tidsalder. Samarbejdet mellem MIT-holdet og Thorn er centralt i den beskrevne metode og i den anvendelsesretning, MIT skitserer.
Opsummering baseret på MITs artikel
MIT rapporterer, at forskere i samarbejde med Thorn har udviklet en audittilgang, der undersøger interne repræsentationer i en model for at afgøre, om den kan producere CSAM, uden at generere output. Ifølge MIT identificerede metoden CSAM-specialiserede modelvarianter med 100 procent nøjagtighed i de tests, forskerholdet gennemførte. MIT fremhæver, at en hostingplatform muligvis kan bruge teknikken til at flagge, fjerne eller afvise usikre modeller ved upload.
MITs artikel sætter desuden udviklingen i kontekst med tal for rapporteret AI-genereret CSAM, som MIT tilskriver NCMEC, og med en juridisk ramme i USA, som MIT karakteriserer sådan, at outputbaseret testning ikke er lovlig. Inden for den ramme præsenterer MIT metoden.
