Together AI har åbnet kildekoden til OSCAR, et attention‑aware INT2‑kvantiseringssystem til KV‑cachen i lang‑kontekst LLM‑serving. Hvis det holder i praksis, kan teams presse mere batch igennem på de samme GPU’er og skære hukommelsesforbruget markant. Men der er faldgruber: kalibrering, drift over tid og ukendt latency‑overhead. Her er, hvad der er nyt, hvor vi stadig er i tvivl, og hvordan du tester det uden at brænde fingrene.

DeepSeek-AI har udgivet en preview af DeepSeek-V4-serien med to MoE-modeller, DeepSeek-V4-Pro og DeepSeek-V4-Flash. Ifølge de tilgængelige kilder understøtter begge modeller nativt én million tokens og bygger på en hybrid attention-arkitektur med Compressed Sparse Attention og Heavily Compressed Attention.

Anthropic har sat ny standard med 1 million tokens i Claude Sonnet 4 – men hvor meget betyder det i praksis? Artiklen gennemgår de vigtigste forskelle til konkurrenterne, konkrete fordele, priser og Snillds anbefalinger til danske virksomheder.