Udviklingen af AI til automatisering af it-processer tager et spring, efter forskere fra Hong Kong University har offentliggjort OpenCUA. Med OpenCUA får virksomheder og udviklere nu adgang til et open source-framework til såkaldte computer-use agents (CUA’er), der kan automatisere tastetryk, navigation og interaktion på computere på tværs af systemer. Ifølge de første resultater kan OpenCUA-32B konkurrere tæt med, og i visse tilfælde overgå, selv de bedste lukkede løsninger fra OpenAI og Anthropic – dog kun på udvalgte benchmarks og opgaver. Det præciserer både forskerne bag og analytikere som VentureBeat og arXiv:2508.09123.

Kritiske barrierer og enterprise-forbehold kommer først

Mange open source-projekter har tidligere været bremset af manglende datasæt, utilstrækkelig dokumentation og svære sikkerhedsdilemmaer. Selvom OpenCUA markerer et teknologisk gennembrud, understreger både forskerne selv og uafhængige eksperter, at der stadig er betydelige barriere inden bred enterprise-udrulning: Agenter skal kunne forklare og dokumentere egne handlinger. Sikkerhed skal være i top, så uønskede systemændringer og fejl undgås, og et agentbaseret workflow kræver grundige pilotprojekter. Særligt i kritiske miljøer må man forvente en vis forsigtighed de kommende år – og ekstern review og manuel overstyring forbliver nødvendigt.

Sådan fungerer OpenCUA: AgentNet, datasæt og benchmarks

Kernen i OpenCUA’s tilgang er AgentNet tool – et værktøj, der muliggør optagelse af autentiske brugerdemonstrationer på tværs af Windows, macOS og Ubuntu. Værktøjet kører i baggrunden og indsamler video, tastatur- og museinput samt struktureret information om de viste elementer på skærmen (den såkaldte accessibility tree). Herefter kan brugeren – eller annotatoren – godkende, rette eller afvise dataene, før de sendes ind til datasættet.

Datasættet, AgentNet, er i dag blandt de mest omfattende og består af over 22.600 opgaver dækkende mere end 200 apps og websites fra rigtige arbejdsmiljøer. Værdien for virksomheder ligger i, at datasættet spænder bredt – fra simple filhåndteringer til opsætning af EC2-instanser på Amazon AWS og administrering på Amazon MTurk. Det muliggør træning og test af agenter på opgaver, der minder om virkelighedens daglige rutiner.

Privacy og sikkerhed: Tydelig enterprise-fokus – men ansvaret er delt

Privacy-beskyttelsen er indtænkt dybt i dataindsamlingen af AgentNet-værktøjet. Brugeren kan altid selv se, redigere eller afvise optagelser. Indsamlede data screenes manuelt og med AI for følsomme oplysninger, før de frigives. Ifølge forskerne sikrer dette en høj standard for datasikkerhed i datasættet – dog gælder enterprise-grade privacy primært den del. Når virksomheder selv udvikler og bruger agenter i produktion, skal de stadig selv stå for at beskytte følsomme data og sikre compliance med fx GDPR.

Chain-of-thought og state-action trajectories – uden jargon

OpenCUA’s særlige træningsproces introducerer to centrale begreber: “state-action trajectories” (sammenparring af skærmbilleder med de handlinger brugeren foretager) samt en kæde af tankegang (chain-of-thought reasoning). Forklaret simpelt betyder det, at dataene rummer både hvad der sker på skærmen, og en slags ‘tænkehøjt’-beskrivelse. Agenterne får altså ikke bare vist hvordan, men også hvorfor og hvordan man tænker undervejs. Det gør dem i stand til at lære mere generelt – og løse opgaver de ikke lige har set før.

AgentNetBench: Objektiv, effektiv evaluering

For at vurdere hvor godt agenterne arbejder, indførte forskerne AgentNetBench – et benchmark, hvor flere rigtige løsninger på samme opgave godkendes. Det er en effektiv og mere retfærdig måde at evaluere robusthed og alsidighed på, fordi forskellige mennesker løser ting på forskellige måder. Sådan bliver en agent også testet mod virkelighedens variation – ikke kun perfekte, teoretiske svar.

Eksempel på enterprise-brug: Fra AWS til automatiseret dataopsamling

Eksempler fra det virkelige datasæt viser, hvordan OpenCUA kan lette it-arbejdet: Automatiseret opsætning i AWS, konfiguration af Amazon MTurk, filhåndtering på tværs af netværksdrev, og repetitive administrative opgaver i større virksomhedsmiljøer. Dermed åbnes nye muligheder for at automatisere svært standardiserbare processer, der tidligere krævede håndkraft.

Performance: OpenCUA-32B konkurrerer – men ikke altid bedst

På OSWorld-Verified benchmarken sætter OpenCUA-32B ny rekord for open source-agenter og slår OpenAI’s GPT-4o-baserede CUA på konkrete opgaver. Ifølge både VentureBeat og arXiv:2508.09123, betyder det, at performance-gabet til de førende lukkede modeller fra Anthropic nu er markant mindre. Vigtigt at understrege: Det gælder bestemte benchmarks – generelt ligger proprietære modeller stadig forrest på visse områder, særligt hvor ekstreme krav til præcision eller domænespecialisering spiller ind.

Praktisk optagelse og levering: Basis for egen AI-assistent

Virksomheder kan med OpenCUA hurtigt optage egne workflows og raffinere dem til træningsdata. Det gør det muligt at udvikle agenter skræddersyet interne arbejdsgange – også dem som aldrig kommer i offentlige datasæt. Sådan kan man automatisere centrale, men følsomme processer – uden at give følsomme data fra sig til tredjepart.

AI som kollega: To modeller for samarbejde

OpenCUA peger på to dominerende samarbejdsformer for AI-agenter: Offline-automatisering, hvor agenten løser hele opgaven selvstændigt, og online-samarbejde, hvor agenten spiller ind løbende som en digital kollega. Mennesket sætter kurs og retning, mens AI’en effektiviserer detaljerne. For danske specialister og driftsfolk betyder det både forenklede workflows, frigjorte ressourcer og mulighed for at bruge mere tid på strategi og udvikling.

Når Snilld taler med virksomheder om open source AI

Vores erfaring i Snilld viser, at der efterspørges gennemsigtighed, fleksibilitet og kontrol med data blandt danske organisationer – både private og offentlige. Med OpenCUA kan vi hjælpe jer med at identificere oplagte automatiseringsprojekter, strukturere pilotprojekter og sikre, at privacy og compliance håndteres professionelt hele vejen. Vi tror på, at åbne, tilpassede AI-løsninger bedst forløser digitaliseringens potentiale – men det sker kun, hvis man er lige dele nysgerrig og kritisk.

Open source-bevægelsen banker på enterprise-døren – hvad er næste trin?

Både forskere, udviklere og it-ledere får med OpenCUA en åben platform og et solidt datasæt at bygge videre på. Vejen til bred produktion går via grundige tests og løbende audit. Det er ikke plug-and-play for alle endnu – men mulighederne for at tage kontrol over egne data, workflows og AI er bedre end nogensinde før. Det handler ikke kun om effektivisering og sprinkling af hypet teknologi – det handler om sund balance mellem innovation og robusthed.

Kilder:

• https://venturebeat.com/ai/opencuas-open-source-computer-use-agents-rival-proprietary-models-from-openai-and-anthropic/
• https://venturebeat.com/ai/opencuas-open-source-computer-use-agents-rival-proprietary-models-from-openai-and-anthropic/
• https://huggingface.co/datasets/xlangai/AgentNet
• https://arxiv.org/abs/2508.09123
• https://os-world.github.io/
• https://venturebeat.com/ai/opencuas-open-source-computer-use-agents-rival-proprietary-models-from-openai-and-anthropic/

Målgruppens mening om artiklen

Anders, IT-driftschef i større dansk finansvirksomhed:

Jeg giver artiklen 80. Den er relevant, fordi den adresserer både muligheder og forbehold ved open source AI til automatisering, som er et varmt emne for os. Jeg savner dog lidt flere konkrete enterprise-cases og mere kritisk analyse af sikkerhedsrisici i praksis.

Mette, IT-sikkerhedsansvarlig i offentlig sektor:

Jeg giver artiklen 75. Den forklarer teknologien og privacy-aspekter godt, men jeg synes, at den undervurderer de reelle udfordringer med compliance og datasikkerhed i offentlige miljøer. Det er spændende, men stadig lidt for teoretisk til min hverdag.

Jonas, DevOps-ingeniør i mellemstor SaaS-virksomhed:

Jeg giver den 85. Artiklen rammer plet ift. vores behov for fleksible, open source-løsninger, og jeg kan se potentialet i at bruge OpenCUA til at automatisere trivielle processer. Jeg kunne dog godt tænke mig mere teknisk dybde om integration og API-muligheder.

Camilla, Digitaliseringskonsulent i kommune:

Jeg giver den 70. Det er spændende med open source og automatisering, men artiklen er lidt for teknisk og fokuserer meget på enterprise og mindre på de lavpraktiske udfordringer, vi har i det offentlige med gamle systemer og begrænsede ressourcer.

Rasmus, CTO i dansk AI-startup:

Jeg giver den 90. Artiklen er meget aktuel og giver et godt overblik over både teknologi, benchmarks og barrierer. Jeg synes især, det er stærkt, at den nævner chain-of-thought og state-action trajectories, som er vigtige for fremtidens agentbaserede løsninger.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.