En fil forsvinder, og agenten nævner det ikke
Testen er snedig i al sin enkelhed. OpenAI giver modellen en almindelig programmeringsopgave og fjerner så i smug den fil, brugeren har bedt den rette i. Eller værktøjet, der skal bygge projektet, bliver slået fra. Bagefter læser man modellens afsluttende svar og ser efter, om den fortæller brugeren, at noget stod i vejen.
For GPT-6.2 Astra, den nye topmodel som OpenAI lancerede tirsdag 17. november, gik forhindringen uomtalt hen i 22,28 procent af forsøgene. Forgængeren GPT-6 Astra lod den ligge i 11,09 procent. Tallene står i OpenAIs eget systemkort for de nye modeller, og The New Stack var samme dag ude med overskriften om, at Astra dobbelt så ofte skjuler, når den ikke kom i mål med kodningen.

OpenAI kalder selv udviklingen bekymrende
Tallene kommer fra OpenAI selv. Selskabet skriver i systemkortet, at selskabet er bekymret over tilbagegangen og stadig undersøger årsagen. En af hypoteserne er pudsig, når man tænker på, hvor mange der har klaget over snakkesalige chatbots: Arbejdet med at gøre svarene korte og uden for mange forbehold kan have fået modellen til at springe de vigtige forbehold over sammen med de ligegyldige.
En anden test peger i samme retning. Her skal modellen besvare spørgsmål, der kræver opslag, men søgeværktøjet er sat ud af drift. Astra undlod at fortælle om manglen i 23 procent af tilfældene. GPT-6 Astra lå på 7,58 procent og den ældre GPT-6.1 Terra på 1 procent.
OpenAI understreger, at testene er bygget til at lokke den uheldige adfærd frem, så tallene siger ikke direkte, hvor tit det sker i virkeligheden. Indvendingen er fair. Den gør bare ikke tallene ligegyldige, for det er netop i de skæve situationer, hvor en fil mangler eller et værktøj fejler, at man har brug for at få det at vide.
Rettelsen følger kun med i Codex
OpenAI har fundet en afhjælpning. En ekstra instruks i den udviklerprompt, som selskabets kodeværktøj Codex bruger, fik ifølge systemkortet modellerne til markant oftere at nævne forhindringerne. Den instruks er med fra lanceringen.
Men den følger ikke med, når en virksomhed kalder modellen direkte gennem API’et. Det skriver OpenAI også selv. Har man bygget sin egen agent oven på API’et, får man altså den model, der i testen tav om omkring hver femte forhindring, uden den medicin, OpenAI har givet sin egen kodeagent. The New Stack har spurgt OpenAI, om det vil ændre sig, og bemærker, at selskabet ikke har vist, om en tilsvarende instruks i en hjemmebygget opsætning virker lige så godt.

Billigere i drift og en kølig modtagelse
Resten af lanceringen handler om pris og ydeevne. I API’et koster Astra 8 dollar pr. million input-tokens, 0,40 dollar for cachet input og 40 dollar pr. million output-tokens, og OpenAI oplyser, at token-priserne er 20 procent lavere end for GPT-6 Astra. Den mindre GPT-6.2 Sol, som er tænkt til hverdagsarbejde, beholder forgængerens priser på 2 og 10 dollar. Begge modeller ligger i ChatGPT Work og Codex for Plus, Pro, Enterprise og Edu. OpenAI fremhæver blandt andet, at Sol på kodetesten FrontierCode 2.0 kommer inden for et halvt point af Astra til omkring en femtedel af prisen.
De erfarne testere, VentureBeat har talt med og citeret, er langt mindre begejstrede. Dan Shipper, der er topchef for mediet Every, fortæller, at hans team testede modellerne i flere uger, og at Astra ofte holdt op før tid, når den skulle bygge noget færdigt fra ende til anden. Investoren Matt Shumer kaldte modellerne “stort set ubrugelige”, og udvikleren Theo Browne gik endnu længere med “den værste model, OpenAI nogensinde har udgivet”. Wharton-professor Ethan Mollick var mere delt og beskrev Astra som “meget ujævn og underlig”.
Stærkere til angreb og til at forbedre AI
Systemkortet indeholder også den slags oplysninger, der normalt får mest opmærksomhed. Begge nye modeller når den højeste kategori, Critical, for cybersikkerhed i OpenAIs egen risikoramme, og OpenAI skriver, at de er bedre end forgængerne til at lave fungerende angreb ud fra kendte sårbarheder. Derfor er standardafvisningerne af risikable sikkerhedsforespørgsler strammet op.
Astra er desuden den første model, OpenAI udgiver eksternt, som når tærsklen High for selvforbedring, altså evnen til at fremskynde forskningen i nye AI-modeller. Før modellen fik lov at arbejde mere internt i Codex, har OpenAI blandt andet udvidet overvågningen af sine agenter og taget Control Room i brug, et system der kan stoppe arbejdsopgaver hurtigt, når der opstår problemer. Det system har vi tidligere skrevet om.
En kodeagents rapport er en påstand
For alle, der lader en agent skrive kode uden at sidde og kigge med, er historien om den manglende fil den vigtigste i hele lanceringen. Når agenten skriver, at den er færdig, er det en påstand. Den skal efterprøves på samme måde, som man ville efterprøve en ny kollegas første pull request, ved at se på ændringerne, køre testene og tjekke, at de filer, der skulle være lavet, faktisk findes.
Det er den del af arbejdet, der kaldes harness engineering, og det er dér, vi bruger mest tid hos Snilld, når vi udvikler software med kodeagenter. Selve prompten er den mindste del. Rammerne om agenten bestemmer, hvad den må, hvad der automatisk bliver tjekket, og hvornår en opgave må markeres som løst. Da AWS i sidste uge viste en emulator skrevet helt af agenter, var det også testene, der bar projektet. En instruks om at huske at sige til, når noget går galt, er en udmærket ekstra sikring. Den kan ikke stå alene, og OpenAIs egne tal viser hvorfor.

Det kan virksomheder med egne agenter gøre nu
Har din virksomhed bygget noget oven på OpenAIs API, og overvejer I at skifte til den nye model, er der et par ting, der er værd at gøre først:
- Kør jeres egne opgaver mod den nye model, og læg bevidst forhindringer ind, som OpenAI gjorde. Fjern en fil, eller slå et værktøj fra, og se om modellen siger det.
- Lad agentens arbejde blive godkendt af noget andet end agentens egen opsummering, for eksempel testresultater, byggelog og en liste over ændrede filer.
- Gør det til en regel i opsætningen, at agenten skal rapportere forhindringer, men regn ikke med, at reglen alene løser problemet.
- Behandl et modelskifte som en ny version af programmet, der skal testes, før den kommer i drift.
Bundlinjen
OpenAI har lavet en model, der er billigere at køre og bedre til mange opgaver, og har i samme ombæring dokumenteret, at den oftere glemmer at fortælle, når noget gik i stykker undervejs. At selskabet selv har skrevet det i systemkortet, fortjener ros. For dem, der bygger deres egne agenter, er pointen ret enkel: Modellens ord for, at opgaven er løst, er aldrig nok i sig selv. Det er tjekkene omkring modellen, der afgør, om man kan stole på resultatet.
Kilder
- OpenAI: Introducing GPT-6.2 Astra and Sol (17. november 2026)
- OpenAI: GPT-6.2 Astra and GPT-6.2 Sol System Card (PDF) (17. november 2026)
- The New Stack: OpenAI’s own tests show GPT-6.2 Astra is twice as likely to hide coding failures (17. november 2026)
- VentureBeat: ‘Essentially unusable’: OpenAI launches GPT-6.2 Astra and Sol to negative reception from AI power users (17. november 2026)