Artikler med tag: on-device

Liquid AI udgiver LFM2.5-230M, en 230M-parameter tekstmodel målrettet kant‑agentik med day‑one support i llama.cpp, MLX, vLLM, SGLang og ONNX. Rapporteret throughput er 213 tok/s på Galaxy S25 Ultra og 42 tok/s på Raspberry Pi 5, og modellen fylder cirka 293–375 MB. Den er stærk på instruktion og dataudtræk, men svagere på bred viden og visse tool‑use benchmarks.

Liquid AI lancerer LFM2.5-230M, en 230M-parameter model bygget til on-device agentiske workflows. Ifølge virksomheden matcher eller slår den større modeller på udvalgte dataekstraktionsbenchmarks, leverer over 200 tok/s på en moderne smartphone og kræver under 400 MB hukommelse. Tredjepartsverifikation mangler stadig, men retningen for edge-deployment er tydelig.

Apple flytter vægtene for en 20 mia. parameter on-device model fra DRAM til flash og router eksperter per prompt. Det kan ændre, hvordan danske virksomheder designer hybrid AI mellem enhed og cloud – men der er åbne spørgsmål om latenstid, slid på flash og governance.

Stanford og Lambda Labs udgiver OpenJarvis – et Apache 2.0-licenseret framework til on-device agenter, hukommelse og læring – og måler kvalitet tæt på cloud, men til lavere marginalomkostning og hurtigere svartid. Det er teknisk stærkt. For at det virker i drift, skal virksomheder løse livscyklus, observability, sikkerhed og governance – ikke bare skifte model.

Liquid AI har lanceret LFM2.5-8B-A1B, en on-device MoE-model med 8,3 mia. parametre og 1,5 mia. aktive per token. Ifølge Liquid AI kører den under 6 GB RAM, har 128K kontekst og er designet til tool-calling og “reasoning-only”. Her vurderer vi nøgternt, om løftet holder for danske virksomheder – og hvor arbejdet i praksis ligger.