Artikler med tag: Quantization

En community‑udvikler, GnLOLot, har udgivet MiniCPM5‑1B‑Claude‑Opus‑Fable5‑Thinking som GGUF‑filer til llama.cpp‑økosystemet. Footprint går ned til 657 MB i Q4_K_M, kører helt lokalt uden API‑nøgler og lover “thinking”‑output. Her er hvad der er spændende, hvad der er overdrevet, og hvad man skal tjekke, før man overvejer produktion.

Together AI har åbnet kildekoden til OSCAR, et attention‑aware INT2‑kvantiseringssystem til KV‑cachen i lang‑kontekst LLM‑serving. Hvis det holder i praksis, kan teams presse mere batch igennem på de samme GPU’er og skære hukommelsesforbruget markant. Men der er faldgruber: kalibrering, drift over tid og ukendt latency‑overhead. Her er, hvad der er nyt, hvor vi stadig er i tvivl, og hvordan du tester det uden at brænde fingrene.

Et nyt open-source vektorindeks i Rust, turbovec, bygger på Googles TurboQuant og påstår at pakke et 10‑millioners embeddings‑korpus fra cirka 31 GB i float32 ned til omkring 4 GB – uden træning og med solide recall‑ og hastighedstal. Vi gennemgår teknikken, validerer påstandene og oversætter det til drift og beslutninger i virkelige RAG‑miljøer.

Google offentliggjorde TurboQuant-papiret 25. marts. Pr. 7. april beskrev Alan West fem uafhængige implementationer, en llama.cpp-fork på MacBook og en aktiv integrationsindsats i vLLM, selv om Google endnu ikke havde frigivet officiel kode.

AI-inferens i 2025 er blevet afgørende for at skabe værdi i dansk erhvervsliv. Artiklen gennemgår ikke blot teknik og platforme, men illustrerer – med cases og konkrete råd – hvordan danske organisationer kan optimere latency, driftsomkostninger og compliance gennem de mest effektive værktøjer og markedsførende udbydere. Snilld tilbyder dokumenteret, praksisnær rådgivning med afsæt i danske erfaringer.