En nyhed fra Google DeepMind har sendt rystelser gennem AI-verdenen: Der er fundet et matematisk loft for, hvor godt retrieval-augmented generation (RAG) systemer kan fungere, når de bygger på klassiske embedding-modeller. For virksomheder og offentlige organisationer, der satser på AI-drevne søgninger og vidensbaser, er det en opdagelse, der ikke kan ignoreres. Men hvad betyder det egentlig for dig, der arbejder med enterprise search, dokumenthåndtering eller compliance?

RAG-systemer har de seneste år været en gamechanger for alt fra kundeservice til intern videnstyring. Men DeepMinds seneste forskning viser, at selv de bedste embedding-modeller har en indbygget begrænsning: Når antallet af dokumenter overstiger embedding-dimensionens kapacitet, falder systemets evne til at finde relevante svar markant. Det er ikke bare en teoretisk bekymring – det er målt og dokumenteret.

Matematisk loft: Hvorfor stopper embedding-modeller med at virke?

Problemet udspringer af den matematiske kapacitet i embedding-modeller. Hver forespørgsel og hvert dokument oversættes til en vektor i et rum med fast dimension – typisk 512, 1024 eller 4096. DeepMind har påvist, at når antallet af dokumenter overstiger et kritisk punkt, kan modellen ikke længere skelne mellem alle relevante kombinationer. For 512 dimensioner bryder retrieval sammen ved cirka 500.000 dokumenter. Med 1024 dimensioner rækker det til omkring 4 millioner, og 4096 dimensioner giver et teoretisk loft på 250 millioner dokumenter – men kun under ideelle forhold. I praksis fejler modellerne ofte tidligere.

LIMIT-benchmarken, som DeepMind har udviklet, tester netop dette. Selv på små datasæt med kun 46 dokumenter, når ingen af de testede modeller fuld recall. Det viser, at begrænsningen ikke kun handler om datasættets størrelse, men om selve arkitekturen bag embeddings.

Enterprise search og store RAG-systemer: Loftet rammer bredt

For virksomheder, der arbejder med store dokumentmængder – fx i finans, jura eller sundhed – betyder loftet, at klassiske RAG-løsninger kan fejle, når det gælder om at finde de rigtige svar hurtigt. Systemer, der tidligere blev betragtet som “state of the art”, kan pludselig levere dårligere resultater, når datamængden vokser. Det rammer især:

• Enterprise search-motorer, der skal håndtere millioner af dokumenter
• Agentbaserede systemer, hvor komplekse forespørgsler kræver præcis retrieval
• Brugerscenarier, hvor relevanskriterier ændrer sig dynamisk

Konsekvensen er øget latency, højere omkostninger til infrastruktur og – måske værst af alt – en dårligere brugeroplevelse. Når recall falder, risikerer man at overse kritisk information.

Offentlig sektor: Dokumenthåndtering og governance under pres

Offentlige organisationer er særligt udsatte, fordi de ofte arbejder med store, komplekse vidensbaser og strenge krav til governance og compliance. Hvis retrieval-systemet ikke kan garantere, at alle relevante dokumenter findes, kan det få alvorlige konsekvenser – både juridisk og i forhold til borgernes tillid.

Eksempler fra praksis viser, at nuværende løsninger kan fejle, når de skal finde alle relevante sagsakter eller dokumentere beslutningsgrundlag. Det kan give problemer i forbindelse med aktindsigt, revision eller tilsyn. For compliance-ansvarlige er det en udfordring, der kræver nye strategier.

Teknisk dybde: Hvorfor rammes dense embeddings, men ikke sparse modeller?

Den matematiske forklaring ligger i kommunikationskompleksitet og sign-rank. Dense embeddings arbejder i et fast, lavdimensionelt rum og rammes derfor af et loft. Klassiske sparse modeller som BM25 opererer derimod i et næsten uendeligt dimensionsrum, hvor hver ordforekomst kan repræsenteres separat. Derfor rammes de ikke af samme begrænsning.

Her er en sammenligningstabel:

• Dense (single-vector): Hurtig, men rammes af recall-loft ved store datasæt
• Sparse (BM25, TF-IDF): Skalerer bedre, men mangler semantisk forståelse
• Multi-vector/cross-encoder: Mere præcise, men dyrere i beregningstid

Alternativer: Cross-encoders, multi-vector og hybrid retrieval

DeepMind peger på, at fremtidens retrieval kræver mere end bare større embeddings. Cross-encoders scorer hver forespørgsel-dokument-par direkte og kan opnå perfekt recall, men de er langsomme og dyre at køre i praksis. Multi-vector modeller, som ColBERT, bruger flere vektorer pr. dokument og kan dermed fange flere nuancer, men kræver også mere regnekraft.

Hybrid retrieval, hvor man kombinerer sparse og dense metoder, vinder frem. Det giver mulighed for både hurtig søgning og bedre semantisk forståelse. Teknologier som FAISS og Couchbase gør det muligt at bygge skalerbare systemer, der kan håndtere store mængder data uden at gå på kompromis med performance.

Sådan tester du din retrieval-løsning

Det er vigtigt at teste, om din nuværende retrieval-løsning rammer embedding-loftet. LIMIT-benchmarken er et godt værktøj, men du kan også selv måle recall på tværs af forskellige datasæt og forespørgsler. Vi anbefaler at:

• Teste recall på både små og store datasæt
• Sammenligne dense, sparse og hybrid metoder
• Overvåge latency og omkostninger ved forskellige arkitekturer

Snilld rådgiver gerne om valg af arkitektur og kan hjælpe med at designe benchmarks, der matcher din virksomheds behov. Kodeeksempler og links til relevante open source-projekter kan findes på vores hjemmeside.

Sikkerhed, risici og compliance: Hvad skal du være opmærksom på?

Embedding-loftet har også betydning for sikkerhed og risikostyring – især i regulerede brancher som finans og offentlig sektor. Hvis systemet ikke kan garantere fuld recall, kan det føre til fejl i sagsbehandling, manglende dokumentation eller brud på compliance-regler. Det er derfor vigtigt at have styr på både teknologien og de processer, der omgiver den.

Vi anbefaler at gennemgå eksisterende løsninger med fokus på governance, dokumentation og audit-trails. Overvej også, om der skal indføres ekstra kontrolmekanismer eller alternative retrieval-teknologier i kritiske systemer.

Perspektiv: Hvad bringer fremtiden for retrieval og RAG?

DeepMinds opdagelse markerer et vendepunkt for udviklingen af retrieval-teknologi. Vi ser allerede nu, at forskningen bevæger sig mod hybrid- og multi-vector-arkitekturer, hvor man udnytter styrkerne fra både sparse og dense modeller. Nye teknologier som HNSW og disk-baseret FAISS gør det muligt at håndtere endnu større datasæt uden at ramme embedding-loftet.

For virksomheder og organisationer betyder det, at fremtidens AI-løsninger bliver mere fleksible, skalerbare og pålidelige. Men det kræver, at man følger med i udviklingen og løbende vurderer, om ens systemer lever op til de nye krav.

Opsummering og handlingspunkter

Google DeepMinds forskning har vist, at der er et uomgængeligt loft for, hvor godt klassiske embedding-baserede RAG-systemer kan fungere ved store datasæt. Det rammer både enterprise search, offentlig dokumenthåndtering og compliance-krævende brancher. Løsningen er ikke bare større modeller, men smartere arkitekturer – fx hybrid retrieval eller multi-vector metoder.

Vi anbefaler at teste egne systemer, overveje alternativer og søge rådgivning, hvis du er i tvivl om, hvorvidt din retrieval-løsning lever op til kravene. Snilld står klar til at hjælpe med både teknisk sparring og strategisk rådgivning om AI og retrieval-arkitektur. Kontakt os for en uforpligtende snak om, hvordan du kan sikre, at din organisation er klar til fremtidens krav til AI-drevet søgning og videnshåndtering.

Kilder:

• https://www.marktechpost.com/2025/09/04/google-deepmind-finds-a-fundamental-bug-in-rag-embedding-limits-break-retrieval-at-scale/
• https://medium.com/google-developer-experts/next-gen-rag-with-couchbase-and-gemma-3-building-a-scalable-ai-powered-knowledge-system-5795eae6164d
• https://x.com/lateinteraction/status/1961253293910544605
• https://www.marktechpost.com/

Målgruppens mening om artiklen

Anne Madsen, IT-chef i offentlig sektor: Jeg giver artiklen 92. Den rammer plet ift. vores udfordringer med store dokumentmængder og compliance. Det er sjældent, at nogen sætter så præcise ord på de tekniske begrænsninger, vi faktisk oplever i praksis. Jeg kunne dog godt have ønsket mig flere konkrete eksempler fra den offentlige sektor, men det er stadig meget relevant.

Thomas Jensen, CTO i finansiel virksomhed: Jeg giver den 85. Artiklen forklarer tydeligt, hvorfor vores nuværende RAG-løsninger ikke altid leverer som forventet, og sætter fokus på de tekniske begrænsninger, vi ofte overser. Det er lidt for meget overordnet rådgivning til sidst, men det tekniske indhold er stærkt og brugbart.

Mette Sørensen, Compliance Officer: Jeg giver den 88. Det er vigtigt, at nogen adresserer risikoen for manglende recall i store systemer. Artiklen forklarer konsekvenserne for compliance rigtig godt, men jeg savner lidt flere konkrete anbefalinger til, hvordan man kan dokumentere og mitigere risikoen i praksis.

Lars Holm, Enterprise Search-arkitekt: Jeg giver den 95. Artiklen er ekstremt relevant for mit arbejde. Den tekniske forklaring på embedding-loftet og sammenligningen med sparse modeller er spot-on. Den kunne dog godt have uddybet hybrid retrieval lidt mere, men det er småting.

Ida Kristensen, AI-projektleder i sundhedssektoren: Jeg giver den 80. Artiklen er informativ og rammer mange af de udfordringer, vi står med i sundhedssektoren. Dog bliver det til tider lidt teknisk, og jeg kunne godt have brugt flere praktiske eksempler på, hvordan man tester og overvåger sine systemer.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.