AWS flytter nu nogle af de tungeste åbne modelvægte ind i sit mest kontrollerede miljø. Ifølge AWS’ egen udmelding kører både OpenAIs open‑weight GPT OSS 120B og 20B samt NVIDIAs Nemotron‑familie nu på Amazon Bedrock i AWS GovCloud (US) (kilde, leverandørudmelding).
Lad os være ærlige: det er en stor åbning for myndigheder og forsvarsleverandører, som vil bygge generativ AI uden at flytte data ud af GovClouds hegn. Men det, der ikke står i AWS’ post, er også vigtigt tidligt i læsningen: ingen GovCloud‑priser, ingen uafhængige GovCloud‑benchmarks for latenstid og kvalitet, og ingen klar model‑opdaterings‑/patchpolitik. Det gør styring og budget sværere fra dag ét.
Hvad er annonceret
Amazon Bedrock i AWS GovCloud (US) tilbyder ifølge AWS OpenAIs gpt‑oss‑120b og gpt‑oss‑20b samt NVIDIA Nemotron 3‑serien: Nano 9B v2, Nano 12B v2, Nano 30B og Super 120B (AWS blog). Brugsscenarier som efterretningsanalyse, kontraktsgennemgang og sikkerhedsloganalyse nævnes af AWS som formål, ikke som uafhængigt dokumenterede effekter.
Kort sagt: adgang til 20B–120B‑klassen inden for en amerikansk compliance‑grænse. Det åbner for at flytte PoC‑arbejde mod produktion. Ikke automatisk. Men nu er døren der.
Bedrocks tekniske ramme
Bedrock stiller et samlet API på tværs af modeludbydere, så teams kan skifte mellem fx GPT OSS 20B og Nemotron Nano 12B v2 via konfiguration frem for kodeændringer (AWS’ udsagn). Inferens kører ifølge AWS fuldt på AWS‑opereret infrastruktur inde i GovCloud‑grænsen og krydser ikke til kommercielle regioner.
I praksis betyder det én klient og en styringsmodel for prompt, konfiguration og versionering. Man slipper dog ikke for MLOps‑disciplin: runtime‑konfiguration, router, versionsstyring og hurtig rollback er stadig nødvendigt. Et kort driftsbillede fra virkeligheden: en modelpatch ændrede svarets struktur i et dokumentudtræk, og en downstream‑parser fejlede. Et versionsmanifest og en rollback uden ny deploy standsede kædereaktionen. Uden den bremse var det løbet ind i sagsbehandlingen.
GovClouds isolering og compliance
AWS beskriver GovCloud som isolerede regioner i USA, drevet af amerikanske statsborgere. Ifølge AWS hjælper regionerne kunder med at møde FedRAMP High (provisional ATO) og DoD SRG IL2, IL4 og IL5 samt adresserer rammer som ITAR og CJIS (AWS blog).
Det er ikke lig med automatisk compliance. Bedrocks dokumentation fastholder shared responsibility: AWS beskytter infrastrukturen, kunden beskytter egne data og konfiguration (Bedrock data protection). IAM, kryptering, logning og datastyring skal kunne dokumenteres for at holde ATO’en.
Praktiske skridt før pilot
Inden en pilot i myndighedsdrift, prioriter fem ting, der ofte overses:
- Dataklassificering og retention. Hvad må promptes til en 120B‑model. Sletning, redaktion og beviskæde skal være beskrevet.
- Kryptering og nøgler. Brug KMS med ejerskab, rotation og FIPS‑endpoints ved krav. Notér det i system‑ATO’en.
- Logning og audit. CloudTrail på Bedrock‑kald med model‑ID, versionsmarkør, tokenforbrug, fejl. Bevar logs efter beviskrav.
- Least‑privilege IAM. Separate servicekonti, stramme politikker, MFA på kontrolplan.
- Versionsstyring og rollback. Hold modelvalg i et versionsmanifest, ikke i tilfældige miljøvariable. Gør rollback mulig uden deploy.
Her materialiseres compliance‑løftet. Ikke i pressemeddelelsen.
Risici og begrænsninger
Licens og eksport. Tilgængelighed af modeller kan svinge globalt. Seneste måneders eksportkontrol‑sager andre steder i økosystemet viser, at rammer kan flytte sig hurtigt (kontekst). Det er ikke specifikt om Bedrock i GovCloud, men relevant på risikolisten.
Sikkerhed. Store modeller kan angribes via jailbreaking, prompt‑injektion og læk af følsom kontekst. Åbne vægte sænker ikke i sig selv risikoen. Der er brug for input‑validering, output‑filtre og løbende red‑teaming. AWS’ blog er en leverandørudmelding, ikke en sikkerhedsrapport.
Versioner og drift. Blogindlægget beskriver ikke en detaljeret opdateringspolitik for modeller i GovCloud. Uden klar versionering og reproducerbarhed kan et afgørende svar skifte fra tirsdag til onsdag. Uholdbart i sagsbehandling.
Overblikket over hullerne i AWS’ udmelding: ingen uafhængige GovCloud‑benchmarks for latency og kvalitet, ingen priser for GovCloud, ingen tydelig model‑opdateringspolitik. Beslutningsgrundlaget halter her.
Anvendelser der rykker
Adgang til 20B–120B‑modeller gør en forskel i brede, teksttunge opgaver: kontraktsgennemgang af store dokumentpakker, sikkerhedsloganalyse på tværs af samtidige hændelser og efterretningssammendrag af heterogene kilder. Gevinsten handler ofte om konsistens i lange forløb og robusthed mod støj.
De teams, der lykkes, har klare kvalitetskriterier, menneskelig review og defineret fallback, når modellen fejler eller timeouter. Jagt ikke maksimal kapacitet uden at måle på fejltyper.
Arkitektur og integration
Det samlede API er nyttigt, men kræver egen styring. Læg en model‑router ind, så applikationer ikke kender modelnavne. Brug feature flags per use case og miljø, og hold versionsvalg i et auditerbart manifest.
Der er ingen uafhængige målinger for latenstid eller hallucinationsrate for de nævnte modeller i GovCloud. Sæt derfor korte timeouts, brug asynkrone flows og cache godkendte svar, hvor det juridisk kan forsvares. Mål før der loves SLA.
Sikkerhed i hverdagen
Tre lavpraktiske greb gør en forskel: brug FIPS‑endpoints hvor påkrævet, indfør faste prompt‑skabeloner testet mod værste input, og afskær rå modeltilgang bag et proxy‑lag med politikker og rate‑limits.
Supplér med simple guardrails: PII‑detektion før prompt, regex‑filtre på svar, og en menneskelig godkendelsesknap til højrisko‑beslutninger. Ikke fancy, bare konsekvent.
Økonomi og kapacitet
Frontier‑modeller er dyre i GovCloud. AWS’ blogpost deler ikke priser for GPT OSS eller Nemotron i GovCloud. Uden pris‑ og kapacitetsdata per region er planlægning svær. Lav konservative estimater, sæt token‑budgetter per use case og indfør watchdogs, der stopper løbsk forbrug. En kort nedetid slår en sprunget månedsregning.
Overvej hybridmønstre: lokal præ‑behandling, semantisk filtrering og udtræk uden for modellen. Send kun komprimeret, ikke‑følsomt indhold ind til inferens i GovCloud. Det skærer tokens, mindsker latenstid og aflaster GPU‑kapacitet.
Hvad beslutningstagere bør gøre nu
- Fastsæt arkitektur: model‑router, proxy‑lag, versionsmanifest og klar rollback‑proces.
- Kør en hurtig compliance‑gennemgang mod FedRAMP, DoD SRG, ITAR og CJIS: dataflow, kryptering, FIPS, logning.
- Lav en kort testplan i GovCloud: latency, throughput, hallucination og robusthed mod adversarial input.
- Planlæg sikkerhedstest: red‑team af promptkæder, input‑validering og output‑filtre.
- Udregn cost‑cases for 20B vs. 120B og knyt SLA’er til change‑varsling og mulighed for rollback.
Hvad mangler stadig
Før større bindinger på plads, bør disse punkter afklares:
- Uafhængige GovCloud‑benchmarks for latenstid, throughput og kvalitet.
- Prisstruktur og kapacitet per GovCloud‑region.
- Tydelig model‑versionspolitik i Bedrock: patching, varsling og rollback.
- Kundecases fra myndigheder, der har passeret ATO med disse modeller.
Modelvalg i virkeligheden
120B giver mening, når kontekstlængde, multi‑dokumentsyntese og robusthed vejer tungere end latenstid. 20–30B rækker ofte til fokuseret ekstraktion, smal summarization og flows med skarpe svartider. Bind valget til en regel: fx over 200 sider eller mere end fem kilder sender til 120B, ellers 20–30B. Mål effekten og justér.
Bundlinjen
Adgang til OpenAIs GPT OSS og NVIDIAs Nemotron i AWS GovCloud er en reel åbning for amerikanske myndigheder, der vil flytte fra PoC til produktion inden for en amerikansk isolationsgrænse. Gevinsten afhænger af disciplin: data, logning, IAM, versioner og rollback. Start lille med en klar brugssag, sæt kvalitetsmål og sikkerhedstests først, byg en router, der kan skifte model uden deploy, og få økonomi‑vagter på fra dag ét. Man opdager først forskellen, når det kører i drift.
