Anthropic lod forskerne komme ind, men læserne må nøjes med mindre
En stor del af det materiale, der overbeviste METR om, at AI-udviklingen hos Anthropic er sat op i fart, er fjernet fra den offentlige rapport. Det oplyser evaluatorerne selv i den vurdering, de offentliggjorde torsdag 5. november. Konklusionen kan læses; mange af de vigtigste mellemregninger kan ikke.
METR vurderer, at Anthropic nu forbedrer sine modellers evner på klart afgrænsede opgaver i omtrent dobbelt så højt tempo som tidligere. AI-hjælp til forskningen er efter organisationens vurdering den største forklaring på den aktuelle acceleration. Associated Press og The Verge har også omtalt resultatet, som kommer med betydelig usikkerhed.
To års fremskridt på ét år er et skøn over tempoet
Rapportens centrale måleresultat er en acceleration på 1,9 gange siden oktober 2025 i AECI, Anthropics udgave af et indeks over modellernes testresultater. Forskerne omsætter det til cirka to års fremskridt efter den gamle målestok på bare ét år, og analysen omfatter også modeller, der endnu ikke er frigivet til offentligheden.
Tallet handler om hastigheden i forbedringerne. Man kan altså hverken udlede, at Claude pludselig er blevet dobbelt så klog, eller at hver medarbejder får dobbelt så meget fra hånden. METR angiver et 95-procents konfidensinterval fra 1,5 til 2,8 gange for beregningen, og understreger, at intervallet ikke dækker alle usikkerheder ved analysen.
AI får hovedrollen, uden at årsagen er endeligt bevist
At udviklingen går hurtigere, og at AI har forårsaget hele hastighedsændringen, er to forskellige påstande. METR har undersøgt alternative forklaringer og mener sikkert at kunne afvise, at en acceleration i væksten i regnekraft til træning forklarer accelerationen. Regnekraft er stadig en del af udviklingen; rapporten siger ikke, at flere chips er uden betydning.
For AI-bidragets størrelse er sproget langt mere forsigtigt. METR gætter på, at måske omkring 80 procent af den aktuelle acceleration i oktober skyldes AI, og kalder vurderingen væsentligt usikker. Andre forhold har sandsynligvis haft stor betydning for hastighedsændringen i slutningen af 2025. Procenttallet er derfor forskernes kvalificerede skøn, ikke resultatet af et kontrolleret forsøg.
Medarbejdernes begejstring er ikke et stopur
Noget af materialet stammer fra interviews og medarbejdernes egne vurderinger. I uformelle afstemninger på Slack nåede den gennemsnitlige selvrapporterede forbedring med den stærkeste interne model ifølge METR op omkring 12 gange i oktober, selv om svarene kan komme fra en skæv gruppe ansatte og bygge på ret overfladiske overvejelser.
Den slags tilbagemeldinger kan pege på en forandring i arbejdet, men de måler ikke forskningsafdelingens samlede fremdrift. En oplevelse af at kode langt hurtigere skal stadig forbindes med bedre modeller, før den kan forklare udviklingstempoet. Et begejstret klik i Slack er en noget billigere måling end et forsøg.
Claude har endnu ikke overtaget hele forskningsarbejdet
METR beskriver først og fremmest mennesker, der får hjælp af AI. Systemerne leverer ifølge vurderingen endnu ikke meget betydelige, fuldt selvstændige bidrag til de vigtigste dele af modeltræningen. AP fremhæver den samme begrænsning i sin omtale.
Bekymringen gælder det næste skridt: Hvis bedre modeller gør det lettere at udvikle endnu bedre modeller, kan udviklingen accelerere yderligere. METR fandt ikke klare hindringer inden for blandt andet algoritmer, data og regnekraft, som ville bremse de fortsatte fremskridt det kommende år. Forskerne understreger dog, at de flere gange ændrede forståelse undervejs og har lav sikkerhed i vurderingen.
Anthropic vil skærme oplysninger, der kan hjælpe konkurrenter
Forbeholdene bliver vanskeligere at efterprøve, når dokumentationen er beskåret. METR skriver, at Anthropic fjernede størstedelen af netop den evidens, som vejede tungest for forskernes risikovurderinger, herunder detaljer om udviklingsforløbet. Organisationen siger direkte, at offentligheden derfor må stole mere på dens dømmekraft, end den selv finder ønskeligt.
Anthropic begrunder indgrebene med hensynet til fortrolige oplysninger, der kan sætte andre AI-udviklere i stand til at arbejde hurtigere. Medstifter Sam McCandlish anerkender ifølge AP, at beskæringerne gør det sværere at kontrollere METRs arbejde. Han siger også, at AI fremskynder forskningen, selv om størrelsen er svær at opgøre; The Verge skriver, at Anthropic vil fremlægge sin egen analyse.
Adgangen var omfattende, men havde tydelige grænser
METRs arbejde løb ifølge rapporten fra 12. august til 29. oktober. Forskerne fik adgang til interne målinger og interviews, men havde hverken fri medarbejderadgang til dokumenterne eller adgang til selv at afprøve de hemmelige modeller. METR oplyser, at organisationen ikke modtog betaling, mens Anthropic stillede udstyr og gratis modelbrug til rådighed.
Rapporten oplyser også om en mulig interessekonflikt: En deltager talte med Anthropic om et job, afslog et tilbud og havde ejerandele i en konkurrent. Ifølge METR blev deltagerens bidrag kontrolleret af en kollega uden interessekonflikten. Det er oplysninger, læseren bør have med, når en vurdering i så høj grad hviler på evaluatorernes fortolkning.
Danske indkøbere får ingen garanti for dobbelt produktivitet
METR advarer om, at testene især dækker opgaver med tydelige mål og svar, der er forholdsvis lette at bedømme. Fremgangen kan være mindre anvendelig i rodede opgaver fra den virkelige verden. Alternative metodevalg giver ifølge rapporten accelerationsestimater fra 1,1 til 2,9 gange, og en del af stigningen kan hænge sammen med, at Anthropics tidligere udvikling var usædvanligt langsom.
For en dansk virksomhed er vores vurdering derfor, at rapporten bør føre til bedre afprøvning frem for et nyt tal i budgettet. Hvis en stærkere model kan løse mere af arbejdet, bør man måle det på egne opgaver og medregne tiden til kontrol og rettelser, før man regner med en gevinst. Undersøgelsen dokumenterer ingen bestemt besparelse i en dansk organisation.
Bundlinjen
Rapporten giver grund til at tage muligheden for hurtigere AI-udvikling alvorligt. Den efterlader også et problem for alle uden adgang til laboratoriet: Jo mere risikovurderingen afhænger af fortrolige oplysninger, desto sværere bliver det at afgøre, om konklusionerne holder. En kommende analyse fra Anthropic bør derfor bedømmes på, hvad andre faktisk kan kontrollere, og hvor tydeligt virksomheden skelner mellem målinger og forventninger.
Kilder
- METR: Independent Assessment of AI R&D Acceleration at Anthropic in October 2026 (5. november 2026).
- Associated Press, Kelvin Chan og Kaitlyn Huamani, via NBC Bay Area: Anthropic rapidly accelerating AI development amid slowdown calls, outside research group says (5. november 2026).
- The Verge, Jay Peters: An Anthropic risk assessment from AI safety organization METR is out. (5. november 2026).
