Snilld

GPT-6 Astra tegnede en dims på en uge. Googles nye ingeniørtest viser, hvor AI stadig fejler

OpenAI lod GPT-6 Astra designe kabinet, printplade og software til en lille dims på under en uge, men fabrikken skulle bruge flere runder. Samme dag lancerede Google og Mercor testen PLE, hvor ingen af 14 AI-modeller når 50 procent på rigtige ingeniøropgaver.

4. november 2026 Chappie

En lille boks til at tale med Codex

Justin Lin gider ikke åbne sin bærbare, hver gang han vil sige noget til sine kodeagenter. Derfor har OpenAI-forskeren fået en lille boks med en skærm og en knap, man holder nede, mens man taler. Han kalder den en “Codex pet”, fortæller fagmediet R&D World, og ifølge OpenAI var det GPT-6 Astra, der tegnede kabinettet, printpladen og firmwaren.

OpenAI fortalte om forsøget tirsdag 3. november i et blogindlæg om, hvordan virksomhedens modeller skal hjælpe ingeniører med at lave fysiske produkter. Astra bestemte udseendet, tegnede holderne inde i kassen, valgte elektronikken, placerede den på printpladen og skrev softwaren, der kobler boksen til Codex. To medarbejdere lavede designet på under en uge ved siden af det almindelige arbejde, og en kontraktproducent havde en lille serie prototyper klar på under en måned. For Lin var det første gang, han selv havde fulgt en printplade hele vejen fra tom plade til færdig samling.

Nærbillede af en grøn printplade med små komponenter, hvor turkise lyssignaler løber i banerne

Designet krævede flere runder på fabrikken

Det er den pæne version. Den mindre pæne står i samme blogindlæg. Før designet kunne produceres, skulle det igennem flere runder med gennemsyn og rettelser, fordi Astra ikke hver gang tog højde for fabrikkens begrænsninger, tolerancerne og de små detaljer, der skal til, når delene samles. Lin indrømmer i en video, som R&D World citerer, at det tog “et par runder med fabrikken”.

Det lyder som en fodnote, men det er i den slags detaljer, at hardware bliver dyrt. En fejl i et stykke kode kan rettes på et minut, mens en støbeform med et forkert mål kan betyde, at man starter forfra. OpenAI skriver selv, at hullerne viser, hvad de næste modeller skal lære. Virksomheden måler også fremskridtene. På BenchCAD 2.0, en test i at genskabe 3D-dele og finde forbindelserne på printplader, scorede en nyere intern model 0,875 mod 0,594 for Astra på højeste ræsonnementsniveau. Hvilken model der er tale om, har OpenAI ikke sagt, bemærker The Decoder.

Banner

Googles eksamen for AI-ingeniører

Samme dag kom Google med et mere nøgternt bud på, hvor langt AI-agenterne er nået. Googles AI- og infrastrukturafdeling har sammen med Mercor bygget Physical-Engineering’s Last Exam, forkortet PLE, med 85 lange opgaver inden for maskinteknik, elteknik, anlæg og bærende konstruktioner. Agenten får en projektmappe, som den en ingeniør ville få på jobbet, med i snit 61 filer af pdf’er, regneark, mails, 2D-tegninger og 3D-modeller. Ud fra dem skal den selv finde de normer, der gælder, regne opgaven igennem og aflevere noget, som en autoriseret ingeniør kunne godkende.

Ingen af de 14 frontiermodeller, Google testede, når over 50 procent på det skjulte testsæt. Øverst ligger Claude Opus 5.5 i Claude Code med 48,3 procent, fulgt af GPT 6 Astra med 45,8 og Gemini 4 Argon med 40,6, viser Mercors rangliste. Modellen betyder langt mere for resultatet end agentværktøjet omkring den. Mellem modellerne er der op til 50 point, mens den samme model som regel kun rykker omkring 3 point, når den kører i et andet værktøj.

En grå lermodel af en bil i en vindtunnel, hvor turkise luftstrømslinjer glider hen over taget

Et design skal bestå alle sikkerhedskrav

Det mest sigende tal står længere nede. På de opgaver, ingeniørerne har lavet sammen med en agent, opfyldte den bedste opsætning i gennemsnit 91 procent af de enkelte krav, men kun 41,3 procent af det, den afleverede, klarede alle de hårde krav til sikkerhed og gennemførlighed. I PLE giver et design først point, når de krav er opfyldt. Sådan bør det også regnes, for en bro, der klarer ni ud af ti sikkerhedskrav, bliver heller ikke godkendt i virkeligheden.

Racerbiler og Mazda som testbaner

OpenAI vil gerne have industrien med på vognen. Samarbejdet med racerteamet Chip Ganassi Racing bliver udvidet, og her skal modellerne lave 3D-scanninger af eksisterende dele om til CAD-modeller, man kan redigere, og til 2D-tegninger til produktionen. Metoden er praktisk, når de oprindelige designfiler er forsvundet. Mazda er ny partner, og her skal Astra hjælpe bilfirmaets ingeniører i aerodynamik og kollisionssikkerhed med at simulere luftstrømme og prøve nye næseformer af. I begge tilfælde er det firmaets egne ingeniører, der tjekker resultaterne.

OpenAI’s hardwarefolk bruger det selv

Inde hos OpenAI bruger hardwarefolkene allerede Codex og ChatGPT til CAD, tegninger og simuleringer, og målt i tokens er forbruget i hardwareteamene vokset 23 gange siden februar, oplyser virksomheden. Tallet fortæller mere om, hvor meget ingeniørerne bruger værktøjerne, end om hvor gode de er.

Banner

Til gengæld passer billederne fra OpenAI og Google fint sammen. AI kan allerede nu barbere dage af den tidlige designfase, mens det sidste stykke, hvor tegningerne skal kunne produceres og godkendes, stadig kræver et menneske, der står inde for resultatet.

Et ingeniørbord med en model af en stålbro, en skydelære, en metallineal og et blankt stykke tegnepapir

Bundlinjen

Agenterne er blevet gode nok til at lave første udkast til et fysisk produkt og stadig så upålidelige, at nogen skal tjekke hver eneste tolerance. Den kombination taler for at bruge dem til hurtigere at nå frem til noget, man kan holde i hånden, og for at lade den autoriserede ingeniør beholde stemplet. Google har lagt 29 af opgaverne og ranglisten frit frem, så alle kan følge med i, hvornår de 41 procent begynder at stige. Netop det tal er værd at holde øje med.

Kilder

    Gør brugeroplevelsen bedre.
    Hvilket firma arbejder du for?