Artikler med tag: Latency

Google lancerer Gemini 3.6 Flash, 3.5 Flash‑Lite og 3.5 Flash Cyber som en hurtig, billig og token‑effektiv Flash‑tier til agent‑forløb. Priserne starter ved $0,30/$2,50 pr. 1M tokens for Flash‑Lite og $1,50/$7,50 for 3.6 Flash. Google lover færre output‑tokens og højere throughput, men uafhængig verifikation og klare enterprise‑vilkår er vigtige før bred udrulning.

Et panel på VB Transform 2026 med ledere fra LinkedIn, Walmart og Zendesk fremhævede ifølge VentureBeat, at flaskehalsen for AI‑agenter ikke er modellerne, men arvet enterprise‑infrastruktur. VentureBeats dækning beskriver blandt andet LinkedIns skift fra on‑demand containere til pre‑provisionerede pooler og et mere deterministisk kontrolflow. Zendesk bekræfter samtidig købet af Forethought den 26. marts 2026, og AWS skriver, at sælgere i gennemsnit bruger cirka 40 procent af tiden på reelt salg.

Netflix beskriver en løsning kaldet Dynamic Repartitioning, der opdeler alt for brede Cassandra-partitioner per TimeSeries‑ID. Ifølge den foreliggende rapport falder gennemsnitlige læse‑tider fra sekunder til lave tocifrede millisekunder, og tail‑latency lander omkring 200 ms – uden ændringer i applikationslaget. Dokumentationen er p.t. baseret på et sekundært referat, så flere primærkilder efterlyses.

En ny guide på Towards AI giver en sjældent praktisk opskrift på at gøre et recommender-system produktionsklart: ranking fremfor simpel klassifikation, totrins-arkitektur med hurtig retrieval og tungere ranking, samt et stramt latency-budget omkring 200 ms med konkrete driftsgreb som kvantisering, caching og shadow mode. Der er substans her—og nogle huller, der kræver efterprøvning.

Marktechposts gennemgang 30. maj 2026 peger på et tydeligt skifte: TTS lyder mere menneskeligt, realtidslatens er for nogle under 100 ms, og følelsesstyring er blevet standard. Det er dokumenteret. Her er, hvad det betyder for danske teams – og hvordan man tester klogt uden at lade sig forføre af ét pænt leaderboardtal.

Et nyt preprint præsenterer MEMO – en lille, dedikeret hukommelsesmodel koblet til en frossen hoved-LLM. Idéen er enkel: opdater viden uden at røre ved LLM’ens vægte. Det kan lette dyre retræninger og regressionsfejl, men flytter også kompleksitet over i data- og driftslaget. Vi gennemgår arkitekturen, femtrins data-syntese, driftskonsekvenser og hvor MEMO giver mening – og hvor det ikke gør.

Hybrid søgning er ikke pynt men fundament, når RAG skal i produktion. Reranking, filtrering, caching og eval‑metriks afgør kvaliteten i praksis. Samtidig åbner Tencent koden til en firelags agent‑memory under MIT, der spiller sammen med lokale RAG‑opsætninger.

Ifølge Google og MarkTechPost kan Multi‑Token Prediction for Gemma 4 give op til 3x hurtigere inference uden tab af kvalitet. Mekanismen bygger på speculative decoding med en hurtig drafter og en større verificeringsmodel. Uafhængige benchmarks er ikke fremlagt i kilderne, og “op til” skal læses som producentoplysning.

Sakana AI i Tokyo lancerer KAME: en tandem tale‑til‑tale‑arkitektur, hvor et near‑zero‑latency S2S‑frontend fortsætter samtalen, mens et back‑end LLM løbende injicerer mere viden. Ambitionen er at bryde valget mellem hurtige og autoritative svar. Spørgsmålet er, om arkitekturen holder i virkelige workflows, SLA’er og governance.