Artikler med tag: KV cache

Ifølge MarkTechPost lancerede Baidu Unlimited OCR, en 3B MoE-OCR-model med Reference Sliding Window Attention, som ifølge forfatterne holder KV-cachen effektivt konstant og scorer 93,23 på OmniDocBench v1.5. Det er teknisk plausibelt og interessant for drift, men kræver uafhængige målinger før beslutninger.

Together AI har åbnet kildekoden til OSCAR, et attention‑aware INT2‑kvantiseringssystem til KV‑cachen i lang‑kontekst LLM‑serving. Hvis det holder i praksis, kan teams presse mere batch igennem på de samme GPU’er og skære hukommelsesforbruget markant. Men der er faldgruber: kalibrering, drift over tid og ukendt latency‑overhead. Her er, hvad der er nyt, hvor vi stadig er i tvivl, og hvordan du tester det uden at brænde fingrene.

MarkTechPost gennemgår kvcached som en dynamisk KV-cache-implementering oven på vLLM. Tutorialen viser et setup med Qwen2.5-modeller, OpenAI-kompatibelt API, bursty workloads samt målinger af VRAM-udnyttelse og latenstid under elastisk og statisk allokering.

Google offentliggjorde TurboQuant-papiret 25. marts. Pr. 7. april beskrev Alan West fem uafhængige implementationer, en llama.cpp-fork på MacBook og en aktiv integrationsindsats i vLLM, selv om Google endnu ikke havde frigivet officiel kode.