Skarp indledning: Hvorfor inference er blevet den nye AI-udgift

Der er noget, der ikke stemmer længere. For et par år siden var det træning af AI-modeller, der fik CFO’ens øjenbryn til at løfte sig. Nu er det pludselig brugen – inference – der eksploderer i pris, mens træningsomkostningerne faktisk falder. Det er lidt af et paradoks. Og det rammer både offentlige og private aktører i Danmark, uanset om man sidder i en kommune, et startup eller i en stor koncern. Vi har set det med egne øjne: En kunde, der troede de havde styr på budgettet, men blev fanget på det forkerte ben, da regningen for at køre modellen live kom ind. Det er ikke længere kun et amerikansk eller kinesisk problem. Det er her, lige nu.

Hvad er inference, og hvorfor er det dyrt?

Lad os lige få begreberne på plads. Træning er, når du lærer din AI at kende forskel på katte og hunde – det sker én gang (eller sjældent). Inference er hver gang, du spørger modellen: “Er det her en kat?” Det sker tusindvis, måske millioner af gange om dagen. Og det er her, udgifterne løber løbsk. Hvorfor? Fordi hver eneste forespørgsel kræver regnekraft, lagerplads og ofte compliance-checks. Cloud-udbydere tager sig godt betalt for lav latency og høj tilgængelighed. På kanten (edge) skal du investere i hardware og sikkerhed. Og så er der alle de skjulte omkostninger: GDPR, datalagring, netværk. Vi har set fakturaer, hvor 80% af AI-budgettet gik til inference – ikke træning.

Seks typer inference – og hvornår de giver mening

Der findes ikke én måde at køre inference på. Vi støder typisk på seks varianter:

• Batch inference: Saml mange forespørgsler og kør dem på én gang. Billigt, men ikke realtime.
• Streaming inference: Data behandles løbende – godt til sensorer eller sprogmodeller, men dyrt hvis der er mange peaks.
• Edge inference: Kør modellen lokalt, fx på en scanner i lufthavnen. Mindre latency, bedre datasikkerhed, men kræver hardware.
• Hybrid inference: Kombiner cloud og edge. Fleksibelt, men komplekst at styre.
• Cached inference: Gem tidligere svar, så du ikke skal regne det samme ud igen. Genialt til gentagne spørgsmål, men kræver god cache-strategi.
• Speculative inference: Gæt på næste forespørgsel og forbered svaret. Kan give hurtigere respons, men spilder ressourcer hvis du gætter forkert.

Vi har set batch bruges i alt fra fakturascanning til analyse af store tekstmængder i det offentlige. Edge er populært i sundhedsvæsenet, hvor data ikke må forlade hospitalet. Streaming er guld til IoT, men kan blive dyrt, hvis man ikke passer på.

Offentlig sektor: Praktiske eksempler og compliance

Forestil dig en kommune, der skal gennemgå tusindvis af sagsakter. Her giver batch processing mening: Man samler dokumenterne, kører dem igennem modellen om natten, og får svar næste morgen. Billigt og effektivt. Men så er der sundhedsvæsenet. Her må data ikke sendes ud af huset – GDPR og patientfortrolighed. Vi har set edge inference på hospitaler, hvor AI hjælper med at analysere røntgenbilleder direkte på udstyret. Det reducerer latency og beskytter data. Men det er ikke uden faldgruber: Hvem opdaterer modellen? Hvordan logger man adgang? Vi har set flere steder, hvor compliance blev en stopklods, fordi ingen havde styr på logning eller opdateringer. Det er ikke bare teori – det er noget, der kan stoppe et projekt på dag ét.

Startup og enterprise: Tekniske løsninger og benchmarks

Cloud eller edge? Det er det evige spørgsmål. Cloud giver fleksibilitet og skalerbarhed, men prisen kan eksplodere, hvis du ikke har styr på workloads. Edge kræver upfront investering i hardware, men kan betale sig på sigt, især hvis du har mange brugere eller stramme latency-krav. Vi har set danske startups, der bruger open source-værktøjer som ONNX Runtime eller TensorRT for at optimere inference på både cloud og edge. Et konkret eksempel: En virksomhed satte caching op med Redis og halverede deres inference-udgifter natten over. Men det kræver, at man forstår sin arkitektur. Vi har set eksempler, hvor man troede caching ville hjælpe, men workloads var for unikke – så det gav ingen besparelse. Benchmarks? Der findes ikke ét svar. Det afhænger af data, brugsmønster og compliance-krav. Men det er værd at teste – og teste igen.

Strategisk overblik: Forretningsmodeller og værdikæde

Stigende inference-udgifter ændrer hele forretningsmodellen for AI. Pludselig er det ikke nok at have en god model – du skal kunne drive den billigt. Vi har set virksomheder, der har flyttet workloads til edge for at spare penge og beskytte data. Andre har skiftet cloud-leverandør for at få bedre priser på GPU-timer. Nogle har endda ændret deres produktstrategi, fordi inference-udgifterne gjorde det umuligt at tjene penge på den gamle model. Det åbner også nye muligheder: Kan du tilbyde billigere inference til dine kunder, har du en konkurrencefordel. Men der er risici: Låsning til én leverandør, compliance-problemer, eller at du pludselig ikke kan skalere, når du får succes.

Konkrete råd: Sådan kommer du i gang

• Start med at kortlægge, hvor du bruger mest AI – og hvor forespørgslerne er dyrest.
• Vælg en inference-strategi, der matcher dit behov: Er det realtime, eller kan du vente?
• Test forskellige platforme og værktøjer – der er stor forskel på pris og performance.
• Hold øje med compliance – især hvis du arbejder med persondata.
• Undgå at låse dig fast på én løsning. Teknologien flytter sig hurtigt.

Vi har lavet en tjekliste til vores kunder: Hvor mange forespørgsler har du om dagen? Hvilke kan køres i batch? Hvor er latency kritisk? Hvilke data må ikke forlade huset? Det lyder banalt, men det er ofte her, man finder de største besparelser.

Afrunding: Hvad betyder det for dig?

Inference er ikke længere en teknisk detalje – det er blevet et strategisk spørgsmål. Hvis du ikke har styr på dine inference-udgifter, risikerer du at blive overhalet af konkurrenterne – eller at dit AI-projekt aldrig bliver rentabelt. Vores råd? Tænk strategisk. Eksperimentér med flere inference-typer. Og vær ikke bange for at stille dumme spørgsmål til dine leverandører. Man opdager først forskellen, når man sidder med regningen – eller når man pludselig kan halvere den.

Kilder:

• https://towardsai.net/p/machine-learning/training-costs-are-falling-inference-costs-are-exploding-6-types-of-inference-that-will-save-your-ai-budget
• https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends/2026/ai-infrastructure-compute-strategy.html
• https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/
• https://www.clarifai.com/blog/edge-vs-cloud-ai
• https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference/
• https://medinform.jmir.org/2024/1/e50048/

Målgruppens mening om artiklen

Henrik Madsen, IT-chef i større kommune:
Jeg giver artiklen 85. Den rammer plet ift. de udfordringer vi oplever med AI-inference i det offentlige, især omkring compliance og omkostninger. Jeg kunne dog godt have ønsket mig endnu flere konkrete cases fra kommuner, men den er meget brugbar og let at forstå.

Lise Andersen, Dataansvarlig i sundhedsvæsenet:
Jeg giver den 90. Artiklen forklarer klart, hvorfor edge-inference er så vigtigt for os, og sætter fokus på compliance og GDPR, som er vores største hovedpine. Jeg savner dog lidt mere om, hvordan man løser opdaterings- og logningsproblemer i praksis.

Jonas Holm, CTO i dansk AI-startup:
Jeg giver den 78. Den er god til at forklare problematikken og nævner relevante værktøjer som ONNX og Redis, men jeg synes, den bliver lidt for overfladisk på de tekniske løsninger og benchmarks. Jeg ville gerne have haft flere konkrete performance-tal og erfaringer fra startups.

Camilla Friis, Digitaliseringskonsulent i region:
Jeg giver den 82. Artiklen er let at læse og giver et godt overblik over de forskellige typer inference og deres fordele/ulemper. Jeg kunne dog godt have brugt lidt mere om, hvordan man bedst vælger mellem cloud og edge i praksis, især i store organisationer.

Anders Pedersen, CIO i stor dansk virksomhed:
Jeg giver den 80. Den rammer nogle vigtige strategiske pointer om forretningsmodeller og leverandørlåsning, som vi selv kæmper med. Jeg savner dog lidt mere om, hvordan man konkret kan forhandle bedre priser eller strukturere sine workloads smartere.

Gennemsnitlig score: 83

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af Gemini 3 Pro Nano Banana 2 Pro fra Google.