AI flytter ind på skrivebordet – ikke kun i skyen

De seneste år har AI for mange været noget, man kun har mødt som en cloud-service. Men nu er der et markant skifte på vej: Med OpenAI’s open source-model GPT-OSS-20B og NVIDIA RTX AI PC’er kan avanceret AI nu køre direkte på din egen computer. Det betyder, at både datasikkerhed, hastighed og tilpasning får et gevaldigt løft – og det åbner for helt nye muligheder i både det offentlige og private. For første gang kan man få AI, der arbejder med ens egne data, uden at noget forlader organisationens fire vægge.

Datasuverænitet og GDPR: Lokale modeller giver kontrol

For IT-chefer i kommuner og regioner er datasikkerhed og compliance alfa og omega. Når AI-modellen kører lokalt, forlader følsomme data aldrig organisationens egne systemer. Det gør det langt nemmere at overholde GDPR og andre lovkrav, fordi man undgår at sende persondata ud af huset. Samtidig kan man integrere AI direkte i eksisterende IT-miljøer, fx til sagsbehandling eller dokumentanalyse, uden at gå på kompromis med sikkerheden. Erfaringer fra pilotprojekter i både Danmark og udlandet viser, at denne tilgang giver ro i maven hos både ledelse og medarbejdere.

Konkrete besparelser og risici

Lokale AI-løsninger kan give besparelser på licenser og cloud-abonnementer, men kræver investering i hardware og løbende opdatering af modeller. Risikoen for fejl eller forældede modeller skal håndteres med klare processer for support og governance. Erfaringer fra pilotprojekter viser, at gevinsterne især opstår, når AI bruges til at automatisere rutineopgaver og frigøre tid til borgerkontakt. Men det kræver, at man har styr på både opdateringer og sikkerhed – ellers kan man hurtigt få mere bøvl end gevinst.

AI i undervisningen: Privatliv og pædagogik hånd i hånd

For lærere og elever er lokal AI en game changer. Elever kan analysere egne noter, få hjælp til opgaver eller generere quizzer – alt sammen uden at deres data forlader skolens netværk. Det styrker både privatliv og læring. Gymnasier og folkeskoler i flere lande eksperimenterer allerede med lokale LLMs, hvor elever fx kan få AI-feedback på essays uden at dele deres tekster med eksterne udbydere. Det giver lærerne bedre overblik og eleverne mere tryghed.

Eksempel: AI-assistent til elever – uden datalæk

Forestil dig en folkeskoleelev, der uploader sine noter og spørger: “Forklar fotosyntese med mine egne ord og lav tre øvelsesspørgsmål.” AI’en svarer på få sekunder – og alt forbliver på elevens computer. Det er både trygt og effektivt, og læreren kan følge med i processen uden at bekymre sig om datasikkerhed. Præcis sådan et scenarie har flere skoler i udlandet allerede testet med succes.

Teknologien bag: MoE-arkitektur og hardwarekrav

GPT-OSS-20B bygger på en Mixture-of-Experts (MoE)-arkitektur, hvor forskellige dele af modellen specialiserer sig i forskellige opgaver. Det gør modellen både hurtig og effektiv – især på hardware som NVIDIA’s RTX 50-serie, hvor dedikerede AI-kerners (Tensor Cores) acceleration gør det muligt at køre selv store modeller lokalt. Minimumskravet er 16GB RAM, men jo kraftigere grafikkort, desto hurtigere svar. Modellen bruger også MXFP4-quantisering, som gør det muligt at køre den på langt mindre hardware end tidligere var muligt.

Benchmarks og sammenligninger: Hvor hurtigt går det?

På en RTX 5090 GPU kan GPT-OSS-20B generere op til 282 tokens i sekundet – langt hurtigere end fx Mac M3 Ultra eller AMD 7900 XTX, som ligger på henholdsvis 116 og 102 tokens i sekundet. Det betyder, at AI’en svarer næsten øjeblikkeligt, hvilket er afgørende for både undervisning, udvikling og sagsbehandling. For udviklere og studerende giver det mulighed for at eksperimentere og bygge prototyper uden at vente på cloud-servere. Brugerflader som LM Studio og Ollama gør det let at komme i gang, selv uden dyb teknisk viden.

Udvikling og tilpasning: Fra prototype til produktion

Med open source og open weight-modeller kan virksomheder og institutioner tilpasse AI’en til egne behov. Det kan være specialiserede bots til kundeservice, automatiseret dokumentanalyse eller domænespecifikke sprogmodeller. Værktøjer som Unsloth AI og LoRA gør det muligt at finetune store modeller på relativt almindeligt hardware, så man hurtigt kan gå fra idé til færdigt produkt. Det er en markant ændring fra tidligere, hvor finetuning krævede adgang til store datacentre.

API’er og integration: Sådan kobler du AI på eksisterende systemer

Frameworks som Llama.cpp og Ollama gør det let at integrere GPT-OSS-20B med egne applikationer via API’er. Det betyder, at både kommunale IT-systemer, undervisningsplatforme og virksomheders egne apps kan få AI-funktionalitet uden at sende data ud af huset. Mange løsninger understøtter også retrieval-augmented generation (RAG), så man kan koble AI’en til lokale databaser og dokumentarkiver. Det gør det muligt at bygge avancerede løsninger, som stadig overholder alle krav til datasikkerhed.

Governance og ansvarlig brug

For digitaliseringskonsulenter og ledere er governance og ansvarlighed centrale temaer. Lokale AI-modeller kræver klare retningslinjer for brug, opdatering og audit. Det er vigtigt at have styr på, hvem der har adgang, hvordan modellerne trænes, og hvordan man dokumenterer beslutninger truffet af AI. Erfaringer fra regioner og kommuner viser, at governance bør tænkes ind fra start, ikke som en eftertanke. Det handler ikke kun om teknik, men om tillid og transparens.

Faldgruber: Opdateringer og support

En udfordring ved lokale AI-løsninger er, at man selv skal stå for opdateringer og support. Det kræver ressourcer og teknisk kompetence, men til gengæld har man fuld kontrol over både data og modeller. Mange vælger at samarbejde med konsulenter eller leverandører, der kan hjælpe med løbende vedligehold og sikkerhedsopdateringer. Det er en investering, der hurtigt kan betale sig, hvis man vil undgå ubehagelige overraskelser.

Forretningspotentiale: Nye produkter og services

For softwarevirksomheder åbner lokale LLMs for nye forretningsmodeller. Man kan bygge specialiserede AI-værktøjer til fx sagsbehandling, kundeservice eller undervisning, hvor kunden selv hoster og styrer AI’en. Det giver både fleksibilitet og mulighed for at differentiere sig på markedet. Eksempler fra udlandet viser, at time-to-market kan reduceres markant, når man ikke er afhængig af cloud-leverandører.

Eksempel: Kommunal sagsbehandling med lokal AI

En dansk kommune har testet lokal AI til at analysere borgerhenvendelser og foreslå svarudkast. Resultatet: Hurtigere sagsbehandling, bedre datasikkerhed og større tilfredshed blandt medarbejderne. Modellen blev løbende tilpasset med lokale data, og governance-processer blev opdateret, så compliance var på plads. Erfaringerne peger på, at lokal AI kan være en reel game changer for offentlig service.

Sådan kommer du i gang

• Vurder hardwarebehov og vælg passende RTX-GPU
• Start med en pilot, fx til dokumentanalyse eller undervisning
• Udarbejd governance- og compliance-politikker fra start
• Brug open source frameworks til integration og tilpasning
• Overvej samarbejde med AI-konsulenter for support og opdateringer

Snillds rolle: Fra rådgivning til implementering

Hos Snilld hjælper vi offentlige og private organisationer med at vurdere, implementere og drifte lokale AI-løsninger. Vi rådgiver om hardware, governance, integration og sikkerhed – og vi deler gerne erfaringer fra både danske og internationale projekter. Kontakt os, hvis du vil høre mere om, hvordan lokal AI kan skabe værdi i din organisation.

Kilder:

• https://www.marktechpost.com/2025/10/20/the-local-ai-revolution-expanding-generative-ai-with-gpt-oss-20b-and-the-nvidia-rtx-ai-pc/
• https://console.groq.com/docs/model/openai/gpt-oss-20b
• https://www.reddit.com/r/razer/comments/1ldzvhm/getting_100_fps_in_cs2_on_razer_blade_16_2025/
• https://github.com/NVIDIA/TensorRT-LLM
• https://docs.unsloth.ai/basics/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth
• https://www.marktechpost.com/author/jean-marc0000677/

Målgruppens mening om artiklen

Anne Møller, IT-chef i kommune:

Jeg giver artiklen 92. Den rammer virkelig plet i forhold til de udfordringer og muligheder, vi står med i det offentlige. Fokus på datasuverænitet, GDPR og integration i eksisterende systemer er spot on. Jeg savner måske lidt mere om de konkrete udfordringer med opdateringer og support, men alt i alt er det meget relevant og praksisnært.

Jonas Kristensen, gymnasielærer:

Jeg giver den 87. Det er super spændende at læse om, hvordan AI kan bruges lokalt i undervisningen, og jeg kan sagtens se potentialet i forhold til privatliv og pædagogik. Artiklen er lidt teknisk til tider, men det er fedt med konkrete eksempler på, hvordan elever kan bruge AI uden datalæk.

Mette Sørensen, digitaliseringskonsulent i region:

Jeg giver artiklen 95. Den er meget relevant for mit arbejde, især afsnittene om governance og ansvarlig brug. Det er tydeligt, at forfatteren forstår de udfordringer, vi har med compliance og dokumentation. Jeg kunne godt have brugt lidt flere cases fra Danmark, men ellers er det virkelig brugbart.

Peter Holm, udviklingschef i softwarevirksomhed:

Jeg giver den 90. Artiklen er stærk på teknologien og forretningspotentialet. Jeg kan bruge informationerne direkte i vores produktudvikling, især omkring integration og open source frameworks. Det er lidt meget reklame for Snilld til sidst, men det trækker ikke meget ned.

Camilla Jensen, skoleleder i folkeskole:

Jeg giver den 85. Det er relevant og inspirerende med fokus på datasikkerhed og pædagogiske muligheder. Jeg synes dog, at artiklen kunne have nævnt flere konkrete erfaringer fra danske skoler, men ellers er det meget oplysende og brugbart.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.