K2 Horizon som rapporteret af MarkTechPost
MarkTechPost skriver, at Institute of Foundation Models (IFM) har frigivet K2 Horizon som en flåde på seks modeller. Ifølge artiklen spænder modellerne fra 0.9B til 375B parametre og udgives under Apache 2.0-licensen. MarkTechPost fremstiller udgivelsen som bredere end typiske åbne modeludgivelser, fordi IFM ifølge deres gennemgang også stiller træningsartefakter til rådighed sammen med modellerne. Oplysningerne er gengivet fra IFM via MarkTechPost.
Artiklen anfører, at de seks modeller deler kernearkitektur, ordforråd, træningsmetode, grænseflader og deployment-værktøjer, og at 0.9B-udgaven skiller sig ud ved at bruge et mindre ordforråd. Pointen, som MarkTechPost gengiver fra IFM, er at teams kan prototype på en mindre model og skalere til en større uden at ændre serving-stak.
Modelnavne, artefakter og licens
MarkTechPost gengiver modelnavnene som 375B-A23B, 36B-A4B, 32B, 7B, 3.7B og 0.9B. Ifølge samme artikel publicerer IFM ikke blot model-checkpoints, men også pre-train-korpus, mellem-checkpoints, træningskode, konfigurationer og detaljerede logs. Det hele præsenteres i MarkTechPost som en del af K2 Horizon-udgivelsen.
Ifølge MarkTechPost ligger alle seks modeller på Hugging Face under Apache 2.0 med builds i FP8 og GGUF. Artiklen skriver desuden, at der er dag-nul-understøttelse af vLLM, SGLang og Ollama på NVIDIA-, AMD- og Cerebras-hardware, samt at hostede API’er kører via Compass, Cerebras og Nebius på platform.ifm.ai. Disse tilgængeligheds- og driftsoplysninger gengives fra IFM via MarkTechPost, og artiklen indeholder ikke direkte repo-links i den citerede udgave.
Baggrund for IFM
MarkTechPost beskriver IFM som et frontier-lab lanceret af MBZUAI i maj 2025. Den tidsangivelse er gengivet fra MarkTechPost.
MarkTechPosts artikel sætter dermed rammen for både teknisk indhold og udgivelsesformat, men uden yderligere eksterne bekræftelser i det citerede materiale.
Træningsdata og metode
I MarkTechPosts gennemgang fremgår det, at hver model ifølge IFM er pre-trainet på omtrent 20 billioner tokens. Næsten 17 procent af korpuset beskrives som problem-løsningsforløb med eksplicit ræsonnement. Artiklen gengiver også, at cirka 10 billioner tokens i pre-train-data er syntetiske, og at IFM rapporterer over 100 millioner unikke syntetiske opgaver. Tallene er gengivet fra IFM via MarkTechPost.
MarkTechPost skriver endvidere, at IFM foldede post-training-data ind fra midt i træningsforløbet frem for at gemme dem til slut. Metoden er beskrevet som IFMs egen praksis, gengivet i artiklen.
Værktøjsformater og token-effektivitet
MarkTechPost refererer, at IFM præsenterede værktøjsdefinitioner i JSON, XML og Markdown under træningen for at lære modellerne semantik frem for ren syntaks. Artiklen skriver, at Markdown blev inferensstandard og ifølge IFMs egne målinger var omkring 18,5 procent mere token-effektiv end JSON på IFMs data. Oplysningen er gengivet fra IFM via MarkTechPost.
Artiklen bemærker også, at 0.9B-modellen bruger et mindre ordforråd end de øvrige i flåden. Den tekniske detalje fremstår som gengivet fra IFM.
MoVA-arkitektur
MarkTechPost beskriver, at IFM introducerer Mixture-of-Value Attention, MoVA, som udvider sparsitet og ekspert-rutning ind i multi-head attention. Ifølge artiklen forbliver MoVA kompatibel med FlashAttention, grouped-query attention og sparse attention. Beskrivelsen af design og kompatibilitet er gengivet fra IFM.
MarkTechPost angiver, at K2-Horizon-MoVA-36B-A4B har cirka 36 milliarder totale parametre med omtrent 4 milliarder aktive parametre per token, og at modellen under ensartede træningsbetingelser lander en smule under den tætte 32B-model på IFMs egne benchmarks. På IFMs rapporterede tabeller nævnes 58,6 på Terminal-Bench 2.1 og 26,8 på tau3-Banking. Tallene er gengivet fra IFM via MarkTechPost.
Tilgængelighed og drift som gengivet
MarkTechPost skriver, at alle seks størrelser er publiceret på Hugging Face under Apache 2.0 med FP8 og GGUF-builds, og at dag-nul-understøttelsen omfatter vLLM, SGLang og Ollama på NVIDIA, AMD og Cerebras. Samme artikel anfører, at hostede API’er kører via Compass, Cerebras og Nebius på platform.ifm.ai. Disse oplysninger er gengivet fra IFM via MarkTechPost, uden direkte repository- eller dokumentationslinks i den citerede artikel.
Artiklen præsenterer helheden som en udgivelse, hvor modeller og tilknyttede artefakter stilles til rådighed samlet. I det tilgængelige kildemateriale er disse praktiske installations- og driftsdetaljer gengivet som IFMs udmeldinger via MarkTechPost.
Kildestatus og forbehold
Alle centrale kvantitative tal og tekniske målinger i denne tekst – blandt andet omkring pre-train tokens, andele af reasoning-forløb, syntetiske tokens og opgaveantal, værktøjsformaters token-effektivitet samt MoVA-parameter- og benchmarktal – er gengivet fra IFM via MarkTechPost. Oplysninger om tilgængelighed på Hugging Face, licens, builds, værktøjsunderstøttelse og hostede API’er er ligeledes gengivet herfra. Der foreligger i det citerede materiale ikke uafhængig verifikation eller direkte repository-links til at bekræfte påstandene.
MarkTechPosts omtale af, at IFM blev lanceret af MBZUAI i maj 2025, er også gengivet fra artiklen. Læsere, der ønsker at verificere påstandene, må konsultere officielle kilder fra IFM eller MBZUAI samt eventuelle offentlige repositories.
