Artikler med tag: on-prem

Poolside lancerer Laguna S 2.1, en 118 mia. MoE‑model med 1M‑token kontekstvindue og åbne vægte på Hugging Face. Ifølge Poolside slår modellen langt større rivaler på flere long‑horizon kodebenchmarks. Potentialet er tydeligt—drift, verifikation og governance afgør værdien i praksis.

NVIDIA udgiver Nemotron 3.5 ASR, en 600M‑parameters cache‑aware streamingmodel, der i ét checkpoint lover realtids‑transkription på 40 sprog og locale med indbygget tegnsætning og kapitalisering. Åbne vægte på Hugging Face under OpenMDW‑1.1 kan gøre on‑prem og edge realistisk. Potentialet er stort, men produktionsdrift kræver omtanke om latency‑tuning, sprogdetektion og støjrobusthed.

Google/DeepMind lancerer Gemma 4 12B, en cirka 12B-parameters, open-weights multimodal model, der kører lokalt på en typisk 16 GB bærbar. Den encoder-frie arkitektur lover lavere latenstid og mindre hukommelsesforbrug for tekst, billeder, lyd og video. Vi gennemgår, hvad det betyder i praksis for teams, der vil bygge sikre, hurtige og billige AI‑workflows on‑prem eller på edge-enheder.

Et nyt open-source vektorindeks i Rust, turbovec, bygger på Googles TurboQuant og påstår at pakke et 10‑millioners embeddings‑korpus fra cirka 31 GB i float32 ned til omkring 4 GB – uden træning og med solide recall‑ og hastighedstal. Vi gennemgår teknikken, validerer påstandene og oversætter det til drift og beslutninger i virkelige RAG‑miljøer.