Indledning: Et kvantespring for 3D data til AI

NVIDIA har netop løftet sløret for ViPE (Video Pose Engine), et open source-værktøj, der kan ændre spillereglerne for alle, der arbejder med 3D video annotation og Spatial AI. For virksomheder med fokus på robotteknologi, AR/VR eller avanceret computer vision, er det en markant nyhed. ViPE gør det muligt at udtrække præcise 3D data fra almindelige videoer – hurtigt, robust og i stor skala. Det har længe været en flaskehals for udviklingen af AI-løsninger, hvor adgang til store, varierede og nøjagtigt annoterede 3D datasæt har været både dyrt og besværligt.

Med ViPE får både forskere og virksomheder nu adgang til et værktøj, der kan generere de nødvendige data langt mere effektivt end tidligere. Det åbner for nye muligheder i alt fra automatisering til digital tvillingeproduktion og avanceret analyse af videoindhold.

Hvorfor er 3D video annotation så svært?

Størstedelen af vores videodata er optaget i 2D, men verden er 3D. At rekonstruere den rumlige virkelighed fra almindelige videoer har været en af de største udfordringer i computer vision. Tidligere metoder har enten været meget præcise, men skrøbelige (klassisk SLAM/SfM), eller robuste, men ekstremt ressourcekrævende (end-to-end deep learning). Ingen af delene har været ideelle, hvis man skal arbejde med store mængder data fra virkelige, uforudsigelige miljøer.

For virksomheder betyder det, at mulighederne for at bygge pålidelige AI-løsninger til robotter, AR-briller eller automatiseret overvågning har været begrænset af, hvor hurtigt og billigt man kan få adgang til gode 3D datasæt. Det har bremset innovationen – indtil nu.

ViPE: En hybrid løsning på en gammel flaskehals

ViPE kombinerer det bedste fra to verdener. Motoren bruger både klassiske geometriske optimeringer og moderne dybe neurale netværk. Det betyder, at ViPE kan håndtere både præcision og robusthed, uden at gå på kompromis med hastighed eller skalerbarhed. Systemet kan arbejde med rå, uforudsigelige videoer – også dem med bevægelige objekter, forskellige kameratyper og dårlige lysforhold.

For virksomheder, der arbejder med Spatial AI, betyder det, at man nu kan automatisere store dele af dataindsamlingen og annotationen. Det frigør ressourcer og gør det muligt at udvikle mere avancerede løsninger hurtigere.

Sådan virker ViPE i praksis

ViPEs arkitektur bygger på en nøgleframe-baseret bundle adjustment, hvor flere innovative teknikker arbejder sammen. Blandt andet bruges:

• Lært optisk flow til at matche billeder robust, selv under svære forhold
• Klassisk feature tracking for at opnå høj præcision
• Integration af dybdelæring til at sikre, at outputtet har korrekt, metrisk skala

Derudover kan ViPE automatisk segmentere og ignorere bevægelige objekter i videoen, så kameraets bevægelse kun beregnes ud fra den statiske baggrund. Det gør systemet langt mere stabilt i praksis.

Hastighed og alsidighed: Fra laboratoriet til virkeligheden

ViPE kan køre med 3-5 billeder i sekundet på en enkelt GPU, hvilket gør det muligt at arbejde med store mængder video uden at skulle investere i enorme serverparker. Motoren understøtter mange forskellige kameratyper – fra almindelige smartphones til 360-graders kameraer – og kan automatisk tilpasse sig det enkelte setups kalibrering.

Det betyder, at alt fra små virksomheder til større organisationer kan tage teknologien i brug, uden at skulle bygge hele deres pipeline om. Det er især relevant for dem, der arbejder med AR/VR, robotteknologi eller automatiseret inspektion.

Resultater og dokumenteret effekt

ViPE har allerede vist sig at være markant bedre end tidligere løsninger. På kendte datasæt som TUM (indendørs) og KITTI (udendørs kørsel) slår ViPE de eksisterende metoder med henholdsvis 18% og 50% i nøjagtighed. Det betyder mere pålidelige data og bedre modeller for dem, der arbejder med AI i praksis.

Det er især vigtigt for virksomheder, der skal bruge data i kritiske applikationer, hvor fejl kan være dyre eller farlige. Med ViPE kan man stole mere på de data, der kommer ud af systemet – og det kan mærkes på bundlinjen.

Datasæt og open source: En gave til hele AI-feltet

En af de største nyheder er, at NVIDIA ikke bare har frigivet motoren, men også enorme datasæt, der allerede er annoteret med ViPE. Det drejer sig om:

• Dynpose-100K++: Næsten 100.000 rigtige videoer fra nettet (15,7 mio. frames)
• Wild-SDG-1M: 1 mio. AI-genererede videoer (78 mio. frames)
• Web360: Annoterede panoramavideoer

Det giver et kæmpe rygstød til udviklingen af nye 3D modeller og gør det muligt for flere at eksperimentere og bygge videre på teknologien. For små og mellemstore virksomheder er det en unik mulighed for at få adgang til data, som ellers ville have været uden for rækkevidde.

Hvad betyder det for danske virksomheder?

For danske virksomheder, der arbejder med AI, robotteknologi eller digitalisering, åbner ViPE for nye muligheder. Det bliver lettere at udvikle løsninger, der kræver præcis rumlig forståelse – for eksempel inden for logistik, byggeri, sundhed eller detailhandel. Man kan nu hurtigt opbygge eller udvide egne datasæt og dermed accelerere innovationen.

Vi hos Snilld ser især potentiale i at bruge ViPE til at automatisere videoanalyse, bygge digitale tvillinger eller forbedre kvaliteten af træningsdata til egne AI-modeller. Det kan være alt fra at optimere lagerstyring til at udvikle nye AR-oplevelser for kunder.

Hvordan kommer man i gang?

ViPE er open source og kan findes på GitHub. NVIDIA har også offentliggjort de store datasæt på Hugging Face. Det betyder, at det er nemt at komme i gang – uanset om man vil eksperimentere i mindre skala eller bygge en produktionsklar pipeline.

For virksomheder, der ikke har erfaring med 3D computer vision, kan det dog være en fordel at få rådgivning. Vi hos Snilld hjælper gerne med at vurdere, hvordan teknologien bedst kan integreres i jeres forretning, og hvordan man undgår de klassiske faldgruber.

Hvad siger skeptikerne?

Nogle vil måske mene, at det stadig kræver tunge GPU’er og teknisk know-how at bruge ViPE effektivt. Andre vil pege på, at open source-løsninger ofte kræver tilpasning, før de fungerer optimalt i en konkret forretning. Det er ikke helt forkert, men med de store datasæt og den grundige dokumentation er barrieren lavere end nogensinde.

Desuden viser erfaringerne fra de første brugere, at ViPE faktisk leverer på både præcision, robusthed og hastighed. Det gør det svært at overse potentialet – især for dem, der vil være på forkant med udviklingen.

Hvad gør konkurrenterne?

Andre aktører arbejder også på at gøre 3D annotation lettere, men ofte er deres løsninger enten lukkede, dyre eller mindre fleksible. Med ViPEs open source-model og de store datasæt sætter NVIDIA en ny standard, som andre vil have svært ved at matche.

Vi forventer, at det vil sætte gang i en sund konkurrence, hvor flere løsninger bliver tilgængelige for både store og små virksomheder. Det er godt nyt for hele feltet – og især for dem, der har brug for at komme hurtigt fra idé til prototype.

Snillds erfaring: Fra teori til praksis

Hos Snilld har vi allerede set, hvordan AI kan løse opgaver, der tidligere krævede store mængder manuelt arbejde. Med ViPE bliver det endnu lettere at automatisere processer, hvor 3D forståelse er afgørende. Det kræver stadig de rette kompetencer og erfaring at få det fulde udbytte, men mulighederne er større end nogensinde.

Vi hjælper gerne med at vurdere, hvordan ViPE kan indgå i jeres digitale strategi – uanset om det handler om at effektivisere eksisterende processer eller udvikle helt nye produkter.

Konklusion: Et gennembrud for Spatial AI og danske virksomheder

ViPE markerer et gennembrud for alle, der arbejder med 3D data og Spatial AI. Med open source-motoren og de store datasæt er det nu muligt at accelerere innovationen, reducere omkostninger og udvikle bedre AI-løsninger. For danske virksomheder er det en oplagt mulighed for at tage førertrøjen på – og vi hos Snilld står klar til at hjælpe med at gøre visionerne til virkelighed.

Kilder:

• https://www.marktechpost.com/2025/09/15/nvidia-ai-open-sources-vipe-video-pose-engine-a-powerful-and-versatile-3d-video-annotation-tool-for-spatial-ai/
• https://research.nvidia.com/labs/toronto-ai/vipe/assets/paper.pdf
• https://www.marktechpost.com/2025/09/15/nvidia-ai-open-sources-vipe-video-pose-engine-a-powerful-and-versatile-3d-video-annotation-tool-for-spatial-ai/

Målgruppens mening om artiklen

Anders, CTO i en mellemstor robotvirksomhed:
Jeg giver artiklen 92. Den rammer plet ift. vores behov for at skalere 3D data annotation og automatisere processer. Detaljegraden omkring ViPEs tekniske opbygning og de konkrete benchmarks gør den både troværdig og relevant. Det er sjældent, at open source-nyheder har så direkte betydning for vores udviklingsarbejde.

Sarah, AI-udvikler i en startup med fokus på AR:
Jeg giver artiklen 85. Jeg synes, den er rigtig god til at forklare, hvorfor ViPE er et gennembrud, og hvordan det kan bruges i praksis. Jeg savner dog lidt mere om, hvordan man konkret kommer i gang, og hvilke faldgruber man skal passe på. Men ellers super relevant for mit arbejde.

Henrik, IT-chef i en større produktionsvirksomhed:
Jeg giver den 78. Det er spændende teknologi, men artiklen er meget teknisk og fokuserer på virksomheder, der allerede arbejder med AI og computer vision. For os, der kun er på vej ind i det felt, kunne den godt have været lidt mere lavpraktisk og mindre “tech-hype”.

Lise, projektleder i et digitaliseringsbureau:
Jeg giver artiklen 88. Den er velskrevet og gør det klart, hvorfor ViPE kan ændre spillereglerne for mange brancher. Jeg kan især bruge afsnittene om de store datasæt og open source-mulighederne i dialogen med vores kunder. Dog kunne jeg godt tænke mig flere konkrete eksempler fra danske virksomheder.

Jonas, forsker i computer vision på DTU:
Jeg giver artiklen 95. Den rammer meget præcist de udfordringer, vi har haft med 3D annotation. Jeg sætter pris på, at der både er teknisk dybde og en vurdering af, hvad det betyder for praksis. Det er sjældent, at en artikel formår at kombinere begge dele så godt.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.