“Similarity search surfaces relevant fragments but often misses cross-document connections.” Det er AWS’ egen formulering. Og den rammer plet. For når hundredvis af kilder skal kobles i ét svar, knækker klassisk RAG ofte over. Task-aware knowledge compression, TAKC, er deres svar – forklaret i en teknisk gennemgang på AWS’ blog. Læs den her: aws.amazon.com/…/beyond-rag-task-aware-knowledge-compression.
For klarhedens skyld: Her gengives, hvad AWS dokumenterer om TAKC og deres anbefalinger. Dertil kommer redaktionelle råd og praktiske valg, som er tydeligt markeret som faglige anbefalinger – ikke som citater fra kilderne.
Hvorfor nu og hvad der er på spil
AWS fremlægger en reference-tilgang, man kan køre i egen AWS-konto, og lægger pres på et felt, hvor mange allerede tester alternative retrieval-strategier. Samtidig går branchen mod agenter med stærkere grounding og governance. VentureBeat refererer SAP på VB Transform 2026 for netop det spor: agenter skal forankres i virksomhedens kontekst, ikke kun i generel viden.
To strømme mødes: en teknisk metode til bedre tværdokumentarisk dækning og en organisatorisk erkendelse af, at agenter uden kontekst og styring ofte driver omkostning, ikke værdi. Timingen er god for at tage de hårde arkitekturvalg nu.
RAGs styrke – og dens loft
Klassisk Retrieval-Augmented Generation (RAG) med vektorsøgning er stærk til snævre, velafgrænsede spørgsmål. Loftet nås, når svar kræver flerhop-ræsonnement på tværs af kilder med få leksikale overlap. AWS’ eget eksempel er en due diligence: et opkøb på 500 millioner dollar, 12 datterselskaber over 5 år, 200+ leverandørkontrakter, miljørapporter fra 8 faciliteter og 50+ retssager. Når spørgsmålet bliver “hvad er de samlede finansielle risici givet leverandørvilkår og verserende sager?”, falder simpel top-k similarity igennem.
Pointen samles i én sætning: vektorsøgning finder bidder, men mister relationer, kontekst og konsekvens på tværs af dokumenter. Resten af artiklen handler om, hvad man så gør i praksis.
TAKC kort fortalt
Task-aware knowledge compression komprimerer materialet offline, dokument for dokument, med en task-type som linse. En LLM genererer opgavespecifikke resumeer, så samme kilde får forskellig komprimering alt efter, om fokus er finansanalyse eller compliance. Ved forespørgsel hentes de forkomprimerede repræsentationer – ikke originalerne.
Løsningen arbejder i flere kompressionslag med routing. Hvis en forespørgsel kræver mere kontekst, kan den sendes til et lag med lavere kompression. AWS angiver tokenreduktion i størrelsesordenen 8x til 64x. Ideen er at maksimere opgave-relevant signal pr. token og skære støj fra.
Hvorfor ikke bare lave bedre, generiske summeringer
Generiske resumeer fortynder informations-tætheden. AWS siger det direkte: når man dækker “alt”, mister man det, der betyder mest for en specifik analyse. En finanskomprimering skal bevare tal og strukturer (marginer, cash flow, segmentdata). En compliancekomprimering skal bevare citater, pligter, afvigelser.
Et ekstra greb i TAKC er, at komprimeringen kan “se” dokumenter i sammenhæng. Relationer uden klare nøgleord får dermed en plads i den task-specifikke repræsentation. Ikke perfekt, men mere målrettet end sproglig lighed i top-k.
Arkitektur på AWS i praksis
AWS anbefaler at lagre kompressionsprompter per task-type versioneret og auditerbart. Eksemplerne er konkrete: Systems Manager Parameter Store eller et dedikeret Amazon S3-prefix. På den måde kan man udløse genkomprimering, når en prompt opdateres.
Ingestion sker offline, én gang per dokument per task. Ved spørgsmål bygges retrieval-laget over de komprimerede repræsentationer. Det kræver en pipeline med datalivscyklus, stabil nøglemapping mellem original og komprimeret, og klare triggere for, hvornår en promptændring kræver recompute.
Hybrider, ikke helte
TAKC løser ikke alt. En faglig kommentar fra Snilld-manualen peger på, at rene vektorløsninger ofte misser relationer og overblik, mens hybrider hjælper: knowledge graphs, metadata-rig indeksering, multi-hop retrieval og ekstraktionslag. Tænk lag-på-lag design, ikke enten-eller.
Det kan fint kombineres med AWS’ fokus. Komprimerede repræsentationer giver et hurtigt, billigt kontekstvindue. Grafer og metadata giver entiteter, relationer og sporbarhed. Hver teknik har sine garantier.
Governance og grounding af agenter
VentureBeat citerer SAP fra VB Transform 2026: “Where we’re starting to see more emergent behavior … is where we’re able to provide context on the actual enterprise rather than … standard knowledge.” Agenten skal kende virksomhedens sprog og relationer – ellers spørger den til akronymer midt i arbejdet.
Med komprimering og retrieval, der ændrer sig over tid, følger governance-krav: sporbarhed for promptversion, model, kompressionslag og kilder bag hvert svar. Ikke pynt. Audit og efterprøvbarhed er reelle behov i enterprise.
Ydelse, pris og skala
Tokenreduktion på 8x–64x kan sænke inference-omkostninger og latens markant. Samtidig koster det lager til komprimerede repræsentationer og periodisk genkomprimering. Den samlede økonomi afhænger af miks og opdateringsfrekvens.
Der er også et tempo-valg: Hyppige opdateringer af prompts og kilder giver friskhed, men presser SLA’er i ingest og recompute. Sjældnere opdateringer giver ro, men øger risikoen for forældet viden. Det er et driftsspørgsmål, ikke kun ML.
Routing i flere kompressionslag – praktiske heuristikker
AWS beskriver routing til lavere kompression ved komplekse spørgsmål, men ikke præcist hvordan kompleksitet måles. Følgende er pragmatiske heuristikker, der kan testes i en POC:
- LLM-selvsikkerhed: route ned, hvis svar- eller citat-confidence er under en tærskel.
- Spredning i retrieval-scores: høj dispersion og lav top-1 margin kan indikere utilstrækkelig kontekst.
- Entitets-overlap: for få delte entiteter på tværs af top-hits antyder behov for mere kontekst.
- Faste hop-skim: marker spørgsmål, der kræver 2+ relationelle hop, til lavere kompressionslag.
Trade-off: for aggressive nedroutinger øger latens og pris; for konservative giver flere fejl i flerhop-svar. Log beslutninger og mål fejlrater.
Risici, fallback og en konkret fejlsituation
Komprimering kan skære for dybt. LLM-summeringer kan forplumre en vigtig nuance. Derfor bør der være sikre veje nedad i kompressionslag – og helt tilbage til originaldokumenter, når det brænder på.
Eksempel: Et spørgsmål kobler leverandørens rabatbetingelser med en klausul om force majeure og historiske forsinkelser. På 32x-laget mangler et nøglecitat. Systemet markerer lav sikkerhed og ruter til 8x. Stadig uklart? Der hentes præcise citater fra originalkontrakt og sagsarkiv – og svaret annoteres med kilder og promptversion.
Implementeringsvalg, der faktisk betyder noget
Versionering af prompts afgør, om man kan forklare, hvorfor et svar ændrede sig. AWS nævner Parameter Store eller S3-prefix. Gør det operationelt:
- Bind versions-id til hver komprimeret artefakt og til hvert svar i loggen.
- Gem model-id, temperatur og kompressionslag pr. kørselsrunde.
- Aktiver livscykluspolitikker for at arkivere forældede artefakter sikkert.
Planlæg genkomprimering fra start: trigger ved promptændringer, kildeopdateringer, modelskift og nye task-typer. Kør “tørkørsel” af nye prompts over et regressionssæt, før hele korpus recomprimeres.
Interoperabilitet med grafer og metadata
TAKC i samspil med knowledge graphs kræver grundigt håndværk: ID-mapping, entitetsnormalisering og en stabil reference mellem komprimerede noder og originaler. Kilderne dækker ikke standarder her, så lav en enkel, konsistent konvention.
Praktiske metadatafelter, der gør en forskel:
- task_type
- source_id og source_uri
- version_hash for prompt og model
- valid_from/valid_to
- extraction_flags og citation_offsets
Det virker administrativt – indtil den dag, en revisor spørger til et specifikt svar.
Målinger, før man forelsker sig
AWS deler tal for tokenreduktion, men ikke uafhængige benchmarks for flerhop-nøjagtighed eller recall/precision mod klassisk RAG. Det hul bør lukkes i en POC med realistiske opgaver.
Minimalt eval-setup, der faktisk siger noget:
- Datasæt: fx 100 kontrakter, 30 retssager, 10 årsrapporter.
- Metrikker: multi-hop precision/recall, citation-recall, latens, omkostning pr. forespørgsel.
- Regressionssæt: faste flerhop-spørgsmål, hvor facit kendes.
- Annotering: menneskelig verifikation af både svar og kildereferencer.
QA af komprimerede artefakter
Byg en regressionssuite, der fanger tab af kritisk information ved promptskift. Supplér med random sampling, hvor et menneske tjekker, om komprimeringen bevarer de vigtige citater og relationer. Log versions-id for hver artefakt og knyt dem til genererede svar, så man kan efterspore fejl til kilden.
Planlæg periodiske genkomprimeringer ved kildeændring, promptopdatering og modelopgradering. Hellere små, hyppige batches end store, risikable køreplaner.
Korte scenarier som tjekliste
Due diligence: Start med finans- og juridisk task-type. Komprimer årsrapporter og 10-K’er til finans, kontrakter og sager til juridisk risiko. Brug hybrid routing: først høj kompression for overblik; ved uklarheder ned til 8x; ved kritiske fund, hent originalbilag og citater.
Compliance-audit: Opret task-type for regulatoriske krav. Bevar citater, deadlines og afvigelser. Ved forespørgsler, der kombinerer sites og historik, brug lavere kompressionslag. Log hvilke promptversioner og modeller, der førte til fundene.
Agent-automatisering i praksis
Agent-workflow: En intern agent klargør en risikorapport. Den slår i komprimerede finans- og compliance-repræsentationer, genererer et udkast og kalder et ekstraktionslag for præcise citater fra originalkilder til bilag. Governance-laget binder kilder og promptversioner til hver påstand. Ikke elegant, men robust i drift.
Det, der mærkes, er lavere tokenmængde pr. skridt og mere målrettet kontekst. Kompressionen rydder scenen, så ræsonnementet kan arbejde.
Hvad kilderne siger – og hvor de tier
Konsistens i hovedlinjerne: AWS definerer TAKC, viser deployment i egen AWS-konto og anbefaler versionerede prompt-stores. SAP/VentureBeat understreger enterprise-grounding og governance. En faglig kommentar peger på hybride kombinationer med grafer og metadata.
Nuancen: AWS fokuserer på komprimering + retrieval og routing mellem kompressionslag. Den faglige kommentar vægter grafer og ekstraktion for deterministisk relationsoverblik. Ikke konflikt – blot forskellig vægtning.
Hvad man bør gøre i morgen
Start småt med en POC: vælg to task-typer (fx finans og compliance), komprimer et afgrænset korpus og stil flerhop-spørgsmål, der kræver krydsreferencer. Mål præcision, relationel dækning, latens og omkostning pr. forespørgsel.
Etabler prompt-versionering fra dag ét: Parameter Store eller S3-prefix og et simpelt auditformat, der binder hvert svar til kompressionsversion og kilde. Beslut governance- og metadatafelter, før korpuset vokser.
Bundlinjen og fremadkig
TAKC er et nøgternt svar på RAGs fragmentproblem. Mindre kontekst, mere relevans pr. token. Der er åbne spørgsmål om målinger, totaløkonomi og integration med grafer og metadata, som kun lukkes i drift.
Hold øje med implementeringens modenhed, standarder for prompt-audit og ren kobling mellem komprimerede lag og grafer. Forskellen ses først, når det kører på egne data. Man mærker det i hænderne.
