AWS har udgivet et praktisk blogindlæg med kode og arkitektur, der bygger en multimodal retrieval-pipeline for aerospace-dokumenter på Amazon Bedrock med Amazon Nova Multimodal Embeddings og S3 Vectors. De kører også en evaluering på 26 industriforespørgsler for at sammenligne en tekst-only pipeline med en multimodal opsætning (kilde 1311). Timingen er fornuftig: mange fabrikker drukner i PDF’er, CAD-udtræk og billedtunge rapporter, som klassisk søgning ikke fanger.
Det rammer et gammelt problem lige på kornet: viden sidder i billederne. I små callouts i tegninger, i farvede contour plots, i håndskrevne noter scannet skævt. Tekstbaserede systemer mister tråden, når svaret er visuelt kodet — hvilket AWS eksemplificerer med torque-tabeller i tegninger, termiske contour plots og procesflows med annoterede cyklustider (kilde 1311). Vi har set det samme hos kunder. Mere om det om lidt.
Tekniske arkiver er multimodale og gådefulde
De fleste produktionsarkiver er en blanding af modaliteter: skriftlige specifikationer side om side med diagrammer, CAD-udsnit, inspektionsfotos, S-N træthedskurver og termiske plots. AWS beskriver præcis det billede, særligt i aerospace og heavy industry (kilde 1311). Når en ingeniør spørger “maksimal vægtemperatur ved dysens hals”, ligger svaret ofte i et plot — ikke i teksten — og tekst-only retrieval ser det ikke (kilde 1311).
I en intern workshop stod peakværdien i en termisk analyse kun som en farvet plet i et billede. OCR gav os intet brugbart. Det er hverdagsstof — og det er dyrt i tid, når man skal bladre manuelt gennem mapper.
Hvad Nova Multimodal Embeddings faktisk gør
Nova Multimodal Embeddings mapper tekst, billeder og dokumentsider ind i et fælles vektorrum. Det muliggør cross-modal retrieval: en tekstforespørgsel kan hente et diagram eller et billede, og omvendt (kilder 1311, 1314). Ifølge dokumentationen understøtter modellen tekst, dokumentbilleder, billeder, video og lyd og konverterer alt til vektorer til semantisk sammenligning (kilde 1314). Pointen er enkel: samme koordinatsystem, flere modaliteter.
Blogindlægget beskriver også praktiske parametre som embeddings-dimensioner og behandlingsindstillinger for blandet indhold, fx sider med diagrammer og tabeller (kilde 1311). Dimensioner påvirker kvalitet, lagringsbehov og beregningstid — og gør derfor en reel forskel i drift.
Arkitekturen i AWS’ eksempel
I referenceopsætningen bruger de Amazon Bedrock til at kalde Nova-embeddings og gemmer vektorer i S3 Vectors, der fungerer som retrievallag. Indtagelsen er multimodal: dokumenter, billeder og tekst segmenteres, embeddes og lægges i vektorindekset. Ved forespørgsel embeddes brugerens prompt, og systemet slår op efter nærmeste naboer i vektorrummet (kilde 1311). Det er RAG i en AWS-native udgave.
Vi hæfter os ved, at S3 Vectors betyder lav driftskompleksitet for teams, der allerede lever i S3. Ikke perfekt, men nemt at komme i gang — og det halverer ofte barrieren for at teste.
Hvad siger evalueringen
AWS rapporterer en evaluering på 26 industrielle forespørgsler, hvor de sammenligner generationskvalitet mellem tekst-only og multimodal pipeline (kilde 1311). Konklusionen: multimodal tilgang løfter svar, når informationen er billedlåst. Det er plausibelt. Men vi savner data om datasættets størrelse, annotatorkvalitet og præcise metrikker for “generation quality”. Det er ikke offentliggjort i fuld dybde, så resultaterne er retningsgivende — ikke endegyldige.
Vores anbefaling: brug AWS’ tal som pejlemærke. Kør egne tests med jeres dokumenter, helst queries der rammer jeres faktiske driftsfejl — ikke kun pæne eksempler.
Hvor giver det værdi på gulvet
Inspektion og QA. En tekstforespørgsel som “vis sidste godkendte visuelle svejsereference for flange X” kan matche et billede med annoterede acceptkriterier, ikke kun et dokumentnavn. Det skærer minutter i hver sag. Over en måned bliver det timer.
Design review. S-N kurver og termiske plots driller ofte. Med multimodal retrieval kan en ingeniør spørge efter “seneste kurve med alu 7075-T6 ved 10^6 cyklusser” og få direkte links til de relevante figurer. I vores POC’er var det her ofte første aha-oplevelse.
Vedligeholdelsesopslag og feltspørgsmål
Teknikere i felten søger tit efter tilspændingsmomenter og noter, som kun findes som små callouts. Et multimodalt indeks kan returnere selve tegningen med callouten frem for en tvivlsom OCR-tekstbid. Det lyder småt, men det afkorter fejlfinding og reducerer gentagelser. Vi har målt det som færre telefonkæder mellem værksted, QA og engineering.
Sidebemærkning: Der er en vis tilfredshed i at se en korrekt callout slå en halvmislykket OCR-linje. Arkivstøjen dæmpes et par hak.
Praktiske benspænd vi møder i virkeligheden
Data-audit først. Uden kortlægning af dokumenttyper, versioner og følsomhed får man et ustabilt indeks. Vi kører typisk en kort audit for at finde de “image-locked” hotspots og de værste OCR-fælder. I en luftfarts-POC fejllæste OCR krydscalls i tegninger, hvilket ødelagde referencerne mellem dele og noter. Multimodale embeddings hjalp, men vi måtte også ændre segmentering og metadata.
Spatial kontekst er skrøbelig. Embeddings på hele sider kan udvande små, kritiske callouts. Man må ofte segmentere præcist, fx pr. figur eller pr. tabel, og gemme bounding boxes som metadata. Ellers drukner signalet. Vi lærte det på den hårde måde i en heavy-industry case med termiske plots, hvor peakværdien forsvandt i en for grov side-embedding.
Versioner og governance
Versionsstyring af CAD og tegninger bider. Uden en robust dokument-ID-strategi blander retrieval revisioner. Vores tommelfingerregel: bind embeddings til immutable revisions og brug styringsmetadata i søgning og reranking. Ja, det koster lidt mere lager, men det koster mindre i fejl.
Sikkerhed og IP. AWS’ eksempel går ikke i dybden med governance, audit logs og ret til sletning i embeddinglaget. Det skal designes fra start: adgangskontrol pr. dokumentklasse og logging, der kan holde til revision. Vi anbefaler at opbevare embeddings særskilt med klar retention-politik. Kedeligt, men nødvendigt.
Valg af vektorlag og omkostninger
S3 Vectors er et godt sted at starte og passer naturligt i AWS-miljøet. Men latens, filtrering og million-skala kan presse behovet for en dedikeret vektordatabase. Branchen ser vektorlageret som kerneinfrastruktur for RAG og semantisk søgning med tydelige performance- og prisforskelle på tværs af systemer (kilder 1313, 1314). Fejlvalg har konkrete konsekvenser.
Hvornår er S3 Vectors nok? Når I kan acceptere lidt højere latens, primært batch-agtige retrievals, og når scope er tusinder til lave hundredtusinder af objekter. Hvornår overveje dedikeret vdb? Når I jagter sub-100 ms-svar i UI, har komplekse filterkrav, eller når korpuset vokser til millioner med hyppige opdateringer. Mål det — gæt ikke.
Hurtig opskrift på en POC
Sådan starter vi typisk: Uge 1 data-audit: kortlæg dokumenttyper, versionspraksis og følsomhed, og lav 10–20 skarpe queries der rammer smertepunkter (fx “maks. vægtemperatur ved dysens hals”, “moment for M12 i del 4, revision C”). Uge 2–4 ingestion og embeddings: segmentering af dokumenter, Nova-embeddings via Bedrock, lagring i S3 Vectors med metadata. Uge 5 retrieval-tests: mål præcision, svartid og falsk-positiv-rate.
Uge 6–7 integration: læg retrieval ind i et QA- eller engineering-værktøj. Ikke fancy — et simpelt panel er nok. KPI’er: top-3 hit rate på billedlåste svar, gennemsnitlig tid til løsning og antal manuelle opslag reduceret pr. uge. De tal bestemmer næste skridt.
Hvad ledere bør beslutte først
Afgræns scope. Vælg 2–3 dokumenttyper med høj værdi: tegninger med callouts, inspektionsfotos, S-N kurver. Fastlæg compliance-rammer: hvem må se hvad, hvordan logges adgang, og hvad er slettepolitikken. Sæt klare målepunkter for POC’en, så I ikke ender i en skønhedskonkurrence, men i et regneark.
Hvad kan vente. Fuld afkoblet integration til PLM\/ERP kan komme senere. Realtime streaming fra kameraer også. Start simpelt: en retrieval-komponent, et vektorlager og en lille brugerflade hvor 5–10 ingeniører kan trykprøve i to uger. Man mærker forskellen, når man sidder med det i hænderne.
Modargumenter og forbehold
“Er AWS’ demo for optimistisk?” Muligvis. De 26 queries er nyttige, men ikke et industribenchmark. Bed om detaljerede cases, eller endnu bedre: kør jeres egne blindtests med edge-billeder, lav kontrast og tæt annoterede diagrammer. Vi blev selv overraskede over, hvor meget billedstøj fra inspektionskameraer kan sænke recall.
“Har vi brug for multimodal overhovedet?” Ikke altid. Hvis 90 procent af jeres svar faktisk står i tekst, så fokusér på bedre tekst-RAG, stærke metadata og kildekæder. Multimodal giver mest mening, når I kan pege på 10–20 tilbagevendende spørgsmål, hvor svaret er visuelt låst. Ellers er kompleksiteten ikke altid det værd.
Snillds anbefaling i korte træk
Gå trinvist. Workshop og data-audit for at finde de rigtige dokumenttyper og governance-krav. Lille POC med multimodal ingestion, Nova-embeddings og S3 Vectors. Mål KPI’er nøgternt, trim segmentering og metadata, og først derefter integrér i værktøjer, ingeniører faktisk bruger. Vi anbefaler sjældent big bang.
Holdningen er klar: Nova + S3 Vectors åbner arkivet uden at bygge et helt nyt hus. Succes afhænger af tre jordnære ting: god segmentering, stram versionsstyring og benhård måling. Det er mindre glamourøst end modellerne — men det er her resultaterne lander.
Kilder og nyttige startpunkter
- Manufacturing intelligence with Amazon Nova Multimodal Embeddings, AWS Machine Learning Blog (kilde 1311). Indeholder eksempler på torque-tabel i tegning, termisk contour plot og procesflow-annotationer, arkitektur med Bedrock og S3 Vectors, samt evaluering på 26 forespørgsler.
- Amazon Nova Multimodal Embeddings dokumentation (kilde 1314). Bekræfter fælles vektorrum, understøttede modaliteter og API-egenskaber.
- Best Vector Databases in 2026, MarkTechPost (kilde 1313). Branchesyn på vektordatabasers rolle, pris og arkitekturtradeoffs.
- Foreslåede test-queries til POC: “maksimal vægtemperatur ved dysens hals”, “tilspændingsmoment for M12 i assembly 4 rev C”, “vis sidste godkendte svejseaccept for flange X”, “S-N kurve for 7075-T6 ved 10^6 cyklusser”.
- POC-målepunkter: top-3 hit rate på billedlåste svar, gennemsnitlig tid fra spørgsmål til fundet kilde, andel falske positive i top-5, samt antal manuelle opslag reduceret pr. uge.
- Edge-tests I bør køre selv: lav-kontrast inspektionsbilleder, stærkt annoterede diagrammer, CAD-udsnit med overlappende lag, OCR med skæve skanninger.
