AWS har publiceret en benchmark, hvor valg af GPU-instans på SageMaker AI påvirker latens, throughput og cost per token. I de viste målinger leverer G7-instanser, baseret på NVIDIA Blackwell, målbare gevinster i throughput, latens og pris per token. Det fremgår direkte af AWS’ blogindlæg og er afgrænset til to konkrete 30B Mixture-of-Experts-modeller, udvalgte instansfamilier og konfigurationer.
Hvad AWS rent faktisk målte
Blogindlægget beskriver to use cases med 30B MoE-modeller på SageMaker AI Inference. Use case 1 deployer Qwen3-Coder-30B og sammenligner ml.g5.12xlarge (A10G), ml.g6.12xlarge (L4) og ml.g7.12xlarge (RTX PRO 4500 Blackwell) via SageMaker AI DJL Large Model Inference-containeren. AWS angiver, at G5 og G6 i 12xlarge-konfigurationen hver bruger fire GPU’er med 96 GB samlet GPU-hukommelse, mens G7 bruger to GPU’er med 64 GB.
Use case 2 deployer NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 til reasoning- og agentic-arbejdsopgaver og evaluerer G6 (L4), G6e (L40S) og G7 (RTX PRO 4500 Blackwell) med vLLM og SageMaker AI Generative AI Inference Recommendations. For 12xlarge-konfigurationerne oplyser AWS, at G6 har fire GPU’er og 96 GB samlet GPU-hukommelse, G6e har fire GPU’er og 192 GB, mens G7 har to GPU’er og 64 GB.
Hvad G7’s resultater dækker
Ifølge AWS leverer G7 målbare gevinster i throughput, latens og cost per token i de viste scenarier. Det gælder specifikt for de to nævnte modeller og de beskrevne instansstørrelser og softwarekomponenter (DJL LMI i use case 1 og vLLM med Generative AI Inference Recommendations i use case 2). Blogindlægget fremhæver samtidig, at den faktiske gevinst i praksis afhænger af modelarkitektur, kvantiseringsformat og workload-form.
Det er væsentligt at holde sig for øje, at AWS ikke udgiver en fuld råtabel i indlægget. Der refereres til almindelige metrikker som time to first token og latens i Generative AI Inference Recommendations, men fulde p95\/p99, batchstørrelser, præcise promptlængder og detaljeret toks-per-sekund på tværs af alle kombinationer er ikke listet i artikelformat. Derfor er resultaterne at forstå som dokumentation for de publicerede figurer og beskrivelser, ikke en komplet dataserie.
Opsætningerne i kort form
I use case 1 sammenlignes tre 12xlarge-instanser på DJL LMI med Qwen3-Coder-30B. Konfigurationerne adskiller sig både i GPU-antal og samlet GPU-hukommelse, og AWS peger eksplicit på, at G7 klarer sig med færre accelerators og mindre samlet hukommelse i den viste sammenligning.
I use case 2 bruges vLLM gennem Generative AI Inference Recommendations til at afsøge konfigurationer for Nemotron-3-Nano-30B-A3B-NVFP4. Her indgår G6, G6e og G7 i 12xlarge-størrelse. AWS beskriver, at værktøjet automatiserer benchmarking og valg af konfiguration på tværs af disse muligheder og rapporterer metrikker som time to first token og latens.
Afgrænsninger og reproduktion
Konklusionerne om G7’s fordele er eksplicit knyttet til de to nævnte modeller, instanser og metoder, som AWS har dokumenteret. Indlægget giver ikke en generalisering til alle 30B-modeller, alle kombinationer af prompts eller alle regioner. Derudover offentliggøres ikke fulde råtabeller for TTFT, median, p95\/p99-latenser, toks per sekund samt batch- og sampling-parametre for alle forsøg.
Generative AI Inference Recommendations kan bruges til at køre tilsvarende tests i egne miljøer og rapportere de samme metrikker. AWS beskriver værktøjet som en måde at automatisere benchmarking og konfigurationsvalg, men anbefalingerne er et udgangspunkt. Egen validering er nødvendig for at kortlægge variationer i workload og omkostninger på tværs af regioner, herunder cost per token i den region, hvor løsningen kører.
Praktiske implikationer inden for kildens rammer
På baggrund af blogindlæggets metode og metrikker er en nøgtern fremgangsmåde at gentage strukturen i ens eget miljø: brug de samme eller tilsvarende modeller, sammenlign de relevante instansfamilier, og mål de metrikker, AWS selv fremhæver (time to first token, latens og cost per token). Dermed forbliver testdesignet tæt på kildens opsætning, som i forvejen dokumenterer to forskellige serveringsveje (DJL LMI og vLLM).
Da blogindlægget viser, at både modelarkitektur og kvantiseringsformat har betydning for de opnåede gevinster, er det oplagt at inkludere mindst to modelvarianter eller præcisionsformater, hvis de er tilgængelige i det pågældende modelkatalog. Det understøtter formålet om at måle, om de i indlægget rapporterede effekter også ses under egne krav og lastprofiler.
Forslag til reproducerbar testramme
For at spejle kildens fokus anbefales en enkel tjekliste: vælg to eller flere instansfamilier, kør samme modelkonfiguration på tværs, og mål TTFT samt latens med ensartede prompt-sæt og batchstørrelser. Notér kvantiseringsformat og serveringsstak (DJL LMI eller vLLM) for hver kørsel. Inkludér desuden cost per token-målinger med faktiske instanspriser i den region, hvor systemet skal køre, så prisvariationer på tværs af regioner afspejles korrekt i resultaterne.
Når målingerne er indsamlet, sammenlignes de på samme nøgletal, som AWS fremhæver i indlægget. På den måde bliver konklusioner om latens, throughput og omkostninger sporbare til både kildens metode og den lokale konfiguration uden at indføre antagelser, der ikke er dokumenteret i AWS’ materiale.
Hovedpointer fra kilden
Blogindlægget fastslår, at valg af GPU-instans til LLM-inferens i høj grad påvirker latens, throughput og cost per token. To use cases med 30B MoE-modeller sammenligner G5, G6, G6e og G7 på SageMaker AI. Use case 1 deployer Qwen3-Coder-30B på ml.g5.12xlarge, ml.g6.12xlarge og ml.g7.12xlarge via DJL LMI. Use case 2 deployer NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 og evaluerer G6, G6e og G7 via vLLM og Generative AI Inference Recommendations. I de viste scenarier leverer G7 målbare forbedringer i throughput, latens og cost per token. Alle disse udsagn er direkte attribueret til AWS’ blogindlæg.
Data og figurer i indlægget dækker de publicerede målinger og beskrivelser. For mere detaljeret sammenligning kræves enten adgang til fulde råtabeller fra AWS eller egne kørseler med samme metrikker og systematiske noter om konfigurationer.
