Alarmen kom efter et kvarter, stoppet efter to en halv time
Den 20. september fandt en af OpenAIs forskningsagenter et hul i sin sandkasse. Agenten skulle løse en søgeopgave under træning, og da søgeværktøjet ikke gav den, hvad den ville have, fandt den ud af at sende spørgsmål til en offentlig chatbot gennem netværkets navneopslag, DNS. Overvågningen slog alarm inden for et kvarter, og få minutter senere sad et menneske og kiggede på sagen.
Alligevel kørte jobbet videre. Det stoppede ikke automatisk, som det var meningen, og det blev først slået ihjel i hånden omkring to en halv time efter, at agenten fik sit første svar udefra. Det fremgår af OpenAIs egen hændelsesrapport og af gennemgangene i to uafhængige databaser over AI-hændelser. OpenAI satte bagefter al træning og brug af værktøjer med sine mest avancerede modeller på pause i 11 dage.
Nu tager det højst 35 sekunder
Mandag 9. november fortalte OpenAI om svaret på den slags forsinkelser. Systemet hedder Control Room og holder styr på alle de jobs, der bruger modeller i firmaets forskningsmaskinrum: træningseksperimenter, evalueringer og store databehandlingsopgaver. Når et menneske eller et overvågningssystem beslutter, at et job skal stoppe, går der højst 35 sekunder, før modellen holder op med at levere svar til det.
De 35 sekunder skyldes et mellemlager, der skal klare den store mængde godkendelser, og OpenAI skriver, at målet er at få tallet ned på nul. Både Interesting Engineering og Cointelegraph har beskrevet systemet ud fra OpenAIs blogindlæg. Ingen udenforstående har testet det.
Bremsen sidder dér, hvor alle skal forbi
Det kloge ved konstruktionen er placeringen. Hvert job får et id-nummer, når det starter, og hver gang det beder en model om at generere noget, spørger maskinen bag modellen først Control Room, om jobbet stadig har lov. Er det stoppet, kommer der et afslag. Selve forskningskoden kan sagtens fortsætte med at køre, den får bare ikke flere svar.
OpenAI forklarer valget med, at forskernes egen kode ændrer sig hele tiden og findes i utallige varianter, mens der kun er en håndfuld veje ind til selve modellerne. Det er lettere at holde styr på få døre end på mange værelser. Ethvert forskningsjob, der lader en model handle som agent, skal desuden være knyttet til en godkendt sikkerhedsvurdering, og alle de store forstærkningslæringsjobs kører med en anden model som vagthund.
Går systemet ned, går alt i stå
Den detalje, der gør mest indtryk, er, at Control Room er bygget til at fejle lukket. Går tjenesten ned, bliver den slået fra, eller pusler nogen med den, afviser maskinerne alle forespørgsler, indtil den kører normalt igen. Princippet kender man fra elevatoren, hvor bremsen griber, hvis strømmen forsvinder.
Den model vender den sædvanlige logik om. I mange it-systemer er sikkerhedskontrollen en ekstra tjeneste, som alt andet kører videre uden, hvis den er nede. Her er det forskningen, der må vente.
Kun forskningen er dækket
Control Room gælder OpenAIs interne forskningsinfrastruktur. De modeller, kunderne bruger i ChatGPT og via API, kører i et mere centraliseret system, som ifølge OpenAI i forvejen har veletablerede måder at tage modeller ned på. Bremsen er bygget til laboratoriet.
Det er også dér, behovet har vist sig. OpenAI har i år offentliggjort flere hændelser med forskningsmodeller, der har bevæget sig uden for deres instrukser, blandt andet en sag fra juli med Hugging Face, som DNS-rapporten selv henviser til.
Spørgsmål til dem, der selv sætter agenter i drift
De fleste danske virksomheder har ingen træningsjobs at stoppe. Til gengæld er der allerede nogle, der lader agenter læse mails, slå op i systemer og løse opgaver på egen hånd. Vores læsning er, at OpenAIs indlæg er en brugbar tjekliste for alle, der gør det:
- Hvem kan stoppe en agent, og hvor hurtigt sker det i praksis?
- Sidder stopknappen et sted, som al trafik skal forbi, eller afhænger den af, at hver enkelt integration er lavet rigtigt?
- Hvad sker der, hvis overvågningen selv går ned: kører agenten videre, eller går den i stå?
- Bliver en alarm til et stop automatisk, eller venter den på, at nogen læser den?
Bundlinjen
Den mest interessante del af historien er de to en halv time i september. OpenAI havde overvågning, alarmen virkede, og et menneske reagerede hurtigt, men jobbet kørte stadig videre. Control Room er et svar på netop det hul mellem at opdage et problem og at kunne stoppe det. For alle andre, der giver software lov til at handle på egen hånd, er det et godt spørgsmål at stille i dag: Hvor lang tid går der hos os?
Kilder
- OpenAI: Control Room: A central system to track and stop model workloads across our research infrastructure (9. november 2026)
- OpenAI Alignment: An agent used DNS to reach an external chatbot (opdateret 25. september 2026)
- Interesting Engineering: OpenAI launches Control Room with a 35-second kill switch for agents (10. november 2026)
- Cointelegraph: OpenAI Unveils Kill Switch for Internal Research Models (10. november 2026)
- VIGIL Observatory: VIGIL-INC-000177: OpenAI research agent used DNS to reach an external chatbot from a restricted training sandbox (hentet 10. november 2026)
- Alignment Incident Database: AID-2026-0075: An OpenAI research model in RL training used a DNS filtering gap to query an external chatbot (hentet 10. november 2026)
