En lille model med store løfter. Community‑udvikleren GnLOLot har frigivet en finjusteret version af OpenBMB’s MiniCPM5‑1B under navnet MiniCPM5‑1B‑Claude‑Opus‑Fable5‑Thinking. Den leveres i GGUF‑format til llama.cpp‑kompatible runtimes og kører lokalt uden API‑nøgle eller cloudkald. Footprintet starter ved cirka 657 MB i Q4_K_M, 751 MB i Q5_K_M, omkring 1,1 GB i Q8_0 og cirka 2,1 GB i F16. Det er lovende — med klare forbehold.
Relevansen lige nu: mange teams vil have sprogmodeller tæt på data og drift uden at sende noget ud af huset. En 1B‑klasse model med “thinking”‑adfærd kan række til en række små, men vigtige opgaver, hvor lav latens, forudsigelig drift og lille fodaftryk vejer mere end frontier‑kapacitet.
Basismodellen kort fortalt
Udgangspunktet er OpenBMB’s MiniCPM5‑1B. Ifølge den tilgængelige dokumentation er det en tæt (~1,08B parametre) model i LlamaForCausalLM‑familien, 24 lag, grouped‑query attention (GQA) og en kontekstlængde på 131.072 tokens. Den lange kontekst er usædvanlig i 1B‑klassen og gør det muligt at holde længere dokumenter i konteksten uden konstant chunking, hvilket mindsker tabte referencer i samtaler.
Arkitekturen er bevidst konservativ: Llama‑kompatibilitet og GQA giver effektiv attention på CPU og mindre GPU’er. 24 lag på 1B‑klassen gør den hurtig at køre og relativt nem at kvantisere uden at kollapse i kvalitet. Kombinationen er pointen: lille model, stor kontekst.
Hvad vil det sige at være finjusteret på Fable 5 spor
GnLOLot beskriver modellen som “post‑trained on Fable 5 data” – altså supervised fine‑tuning på udskrifter og reasoning‑spor genereret af en stærkere lærer (Claude Fable 5\/Opus‑linjen). Det er ikke klassisk distillation. Ved distillation overfører man signal fra lærerens logits\/weights til eleven; her trænes der på lærerens tekstsvar og “tænke‑spor” som målsekvenser.
Implikationen er vigtig: modellen lærer at efterligne format, tone og typiske mellemtrin – ikke at kopiere lærerens fulde kunnen. Ingen adgang til Claude‑logits betyder, at vægtnære metoder ikke er i spil. Metoden er realistisk for open‑source, men sætter en øvre grænse for kapabilitetsoverførsel.
“Thinking”‑tilstand i praksis
MiniCPM5‑basen har en indbygget “thinking”‑skabelon, der kan toggles via enable_thinking. Den afledte model bevarer både “think\/no‑think” og værktøjskald‑formatet. Konkret kan modellen generere et blok af tanke‑trin før det endelige svar – kæder af mellemregninger, ikke bevis for korrekthed.
De synlige mellemtrin kan være nyttige ved fejlfinding – men de kan også være forførende. Gem dem i loggen som standard og vis dem kun, når noget skal granskes. Så undgår man, at brugere tolker pæne mellemtrin som sandhed.
Footprint, kvantisering og runtime
GGUF‑pakken kommer i flere kvantiseringer: Q4_K_M på cirka 657 MB, Q5_K_M på cirka 751 MB, Q8_0 på cirka 1,1 GB og F16 på cirka 2,1 GB. Ifølge udgivelsesnoterne er Q8_0 ofte et fornuftigt kompromis mellem kvalitet og latens, mens Q4_K_M minimerer aftrykket til stramme edge‑miljøer. Vælg efter RAM‑budget, latenskrav og kvalitetsbehov.
Kompatibiliteten er bred: llama.cpp, Ollama, LM Studio, jan og KoboldCpp nævnes eksplicit. Sampling‑anbefaling for “Think” er temperature 0,9 og top_p 0,95. På CPU er Q4_K_M typisk hurtigere pr. token men mere støjende; Q8_0 bruger mere RAM og compute, men holder formatering og instruktionsfølgning bedre under pres.
Efterligning af format er ikke det samme som ny kunnen
Supervised fine‑tuning på lærerudskrifter bærer hovedsageligt form og stil med sig – og i varierende grad opgaveopdeling. Det er ikke det samme som at tilegne sig dybere, generelle færdigheder. En 1B‑model er realistisk stærk i instruktionsfølgning, skabelonfast formatering, korte svar og simple logiske kæder. Den vil kæmpe med komplekse flertrinsproblemer, svær matematik og lange koderedegørelser uden støtte.
Sikkerhed, bias og governance
Træning på lærerudskrifter kan også overtage lærerens fejl og bias. Hallucinationer kan se pænere ud uden at være mindre forkerte. Hvis træningsdata indeholder ophavsretsligt eller følsomt materiale, følger juridiske og etiske konsekvenser ved kommerciel brug. Et “thinking”‑afsnit ændrer ikke på sandhedsværdien.
Før produktion: kør prompt‑injektionsprøver, evalueringsopgaver med kendt facit, red‑teaming for følsomme emner og en licensgennemgang af både basevægte og finetune‑data. NIST’s AI Risk Management Framework er en fornuftig ramme for dokumentation, risikostyring og løbende monitorering.
Hvad betyder det for drift og hardwarevalg
En 657 MB Q4_K_M‑build åbner for CPU‑drift på mindre servere og visse edge‑enheder med 8‑16 GB RAM. Man får hurtig cold‑start, lavt diskforbrug og enkel deployment. Til gengæld knækker kvaliteten tidligere på svære prompts, og long‑context er mere skrøbelig. Q8_0 på cirka 1,1 GB har et større aftryk, men leverer typisk strammere struktur og færre udglidninger.
Med en lille NVIDIA‑GPU (omkring 6‑8 GB) kan Q8_0 give pænt throughput. Uden GPU kan moderne CPU’er stadig levere brugbar tokenhastighed for korte svar – især med stramme max tokens og streaming. Latens bliver den afgørende faktor i supportværktøjer og små udviklerassistenter.
Realistiske anvendelser lige nu
De lavthængende frugter er lokale assistenter: hurtige svar på interne retningslinjer, enklere kundesupport‑prompter, opsummering af korte dokumenter, kodeforklaringer og små refaktoreringer. Brug den som “første pas” før et menneske eller en stærkere model, især hvor privatliv og responstid vægter højere end avanceret reasoning.
Pas på med komplekse beslutningsstøtter, juridiske tolkninger, avanceret matematik og forklaringer, hvor ét fejltrin vælter resten. Her bør modellen suppleres med verifikation – fx retrieval fra autoritative kilder, sandheds‑checks eller fallback til en større model ved usikkerhed.
POC‑tjekliste uden pynt
- Definér tre opgaver, der måles på tid, nøjagtighed og klare acceptkriterier.
- Kør både Q4_K_M og Q8_0 mod samme eval‑sæt. Mål latens, fejlrate og hvornår “thinking” hjælper vs. distraherer.
- Indfør simple guardrails: max tokens, systemprompt og strip reasoning‑blokke i UI som standard.
- Etabler en fallback: hvis en usikkerhedsheuristik slår ud, så send videre til en større model eller et menneske.
- Dokumentér licenser og dataflow. Gem model‑hashes og versionsnumre i et versioneret modelarkiv.
Hvad er bekræftet, og hvad mangler
Bekræftet via MarkTechPost: navn, at modellen kører lokalt uden API, GGUF‑størrelserne (657 MB, 751 MB, cirka 1,1 GB, cirka 2,1 GB), understøttede runtimes (llama.cpp, Ollama, LM Studio, jan, KoboldCpp), og at metoden er supervised fine‑tuning på Fable 5 spor – ikke vægt\/logit‑distillation. Også at MiniCPM5‑basen dokumenteres med 24 lag, GQA og 131.072 tokens kontekst.
Mangler og bør afklares i repository eller via forfatteren: præcis mængde og sammensætning af Fable 5‑data, licensvilkår for de genererede traces, træningsopsætning (epochs, batch, lr, seed) og uafhængige benchmarks (MMLU, HumanEval, GSM8K light). Uden det forbliver kapabilitetsløfterne ubekræftede.
Forskellen på supervised fine‑tuning og distillation
Supervised fine‑tuning lærer modellen at forudsige lærersvar som tekst. Distillation overfører blødere sandsynligheder (logits\/tempereret softmax) eller strukturel viden fra lærerens vægte. Klassisk reference er Hinton et al. (2015). Når lærerens logits eller vægte ikke er tilgængelige, ender man med SFT på genererede svar – som her.
Licens og IP – den svære ende
MarkTechPost noterer, at Apache‑2.0 dækker basevægtene, men at finetuning på Claude‑udskrifter rejser et åbent licensspørgsmål. Det kræver verifikation i modelkortet og hos udgiveren. Indtil det er afklaret, bør kommerciel brug ske med omtanke, særligt ved videredistribution.
Overvej også datasanitet: hvis lærerens svar uforvarende indeholder ophavsretsligt beskyttet tekst fra tredjeparter, kan der følge forpligtelser. Ikke sandsynligt i alle scenarier, men værd at afklare tidligt.
Hvad modellen realistisk kan – og ikke kan
Kan: pæn instruktionsfølgning, rimelig kontekstforståelse i korte forløb, høflig tone, simple kode‑snippets og små debug‑forslag, strukturerede svar med punktopstilling og korte resuméer. Den lange kontekst hjælper især ved dokumentuddrag og chatforløb, der ellers mister referencer tidligt.
Kan ikke (uden krykker): flertrinskompleks problemløsning, præcis langkode‑generation, avanceret matematik og tekniske forklaringer, hvor ét forkert mellemtrin vælter resten. Her er retrieval fra autoritative kilder eller en større model ofte nødvendig.
Åbne spørgsmål og hvem der bør spørges
- Træningsdatas størrelse, sammensætning og licens – spørg GnLOLot og tjek HF‑kortet.
- Byggeproceduren: scripts, seed, steps\/epochs, hyperparametre – GnLOLot eller repoets logs.
- Benchmarks: MMLU, GSM8K, HumanEval på tværs af kvantiseringer – uafhængige community‑tests søges.
- OpenBMB‑kommentar: forskel mellem deres dokumenterede On‑Policy Distillation og community‑SFT på lærerudskrifter.
- Licens og redistribution – evt. principiel afklaring fra Anthropic om Fable‑mærkede spor.
Så hvad gør man i morgen
Hvis use‑casen er lokal assistent, kort opsummering, enklere kundesupport eller dev‑assist med stramme rammer, giver en hurtig POC mening. Test både Q4_K_M og Q8_0 mod opgaver, der ligner jeres virkelighed, og mål fejl, latens og stabilitet. Hold reasoning skjult som standard og log det til fejlfinding.
Hvis use‑casen kræver høj nøjagtighed eller har juridisk vægt, bør modellen køre med retrieval, verifikation eller fallback. Uden de hegn ender man før eller siden med en pæn, men forkert forklaring – og det er værre end et blankt svar.
