Snilld

Kimi K2.7-Code lover 30% færre ‘thinking tokens’ — praktikere spørger hvordan

Moonshot AI udgiver K2.7-Code som open source med stor MoE-arkitektur, 256K kontekst og faste driftsbegrænsninger. Tallene er stærke på papiret, men uafhængige tests finder huller i benchmark-fortællingen og peger på konkrete tradeoffs i drift.

14. juni 2026 Peter Munkholm

Moonshot AI har frigivet Kimi K2.7-Code, en open source-opdatering til K2-kodefamilien, og hævder en 30 procents reduktion i forbrug af thinking tokens samt tocifrede forbedringer på egne benchmarks. For teams med agent-lignende kodeworkflows kunne det betyde lavere omkostninger og mere kapabel kodegenerering. De første uafhængige målinger rejser dog spørgsmål ved, hvor meget af gevinsten der rækker ud over Moonshots egen testpakke.

Overblikket: K2.7 bevarer trillion-parameter MoE-arkitekturen fra K2.6, åbner for 256K tokens kontekst og udleverer vægte via HuggingFace under en modificeret MIT-licens. Der loves bedre generalisering på tværs af sprog og opgavetyper. Samtidig er thinking mode tvangsaktiveret, og sampling er låst (temperatur 1,0). For udviklingsteams er spørgsmålet derfor ikke bare “er den hurtigere”, men “kan den driftes forudsigeligt i et produktionsflow uden at koste andre steder”.

Hvad K2.7-Code er, i konkrete tal

Ifølge VentureBeat og MarkTechPost bygger K2.7-Code på en mixture-of-experts-arkitektur med i alt omkring 1 billion parametre, hvor 32 milliarder aktiveres pr. token. Layoutet omtales som 384 eksperter, 8 valgt pr. token plus 1 delt, hen over 61 lag. Der er native INT4-kvantisering, en MoonViT-visionsencoder på cirka 400 millioner parametre, og en kontekstlængde på 256.000 tokens. Det er ikke en model til bærbare. MarkTechPost angiver, at det fulde HuggingFace-repo fylder omtrent 595 GB på disk, afhængigt af kvantisering og pakning.

Drift og adgang: Modellen kan selvhostes via vLLM, SGLang eller KTransformers, og er tilgængelig bag en OpenAI-kompatibel API. VentureBeat bekræfter vLLM og SGLang; MarkTechPost tilføjer KTransformers. Begge medier beskriver en Modified MIT-licens og peger på HuggingFace-vægte. En praktisk note: repository-indhold og nøjagtige filstørrelser kan ændre sig over tid ved kvantisering, så teams bør dobbelttjekke den aktuelle pakke, før de sætter kapacitetsplaner.

Makrofoto af testplades metalkant med varmepletter og spor af termisk pasta, cyan/indigo lys.

Forskellen fra K2.6 er ikke kosmetisk

Moonshot beskriver et skifte i designfilosofi: Hvor K2.6 ofte “wrap’ede” eksisterende biblioteker og rutede gennem etablerede frameworks, går K2.7 mere direkte efter at forfatte low-level-implementeringer selv. Ambitionen er bredere generalisering på tværs af Rust, Go, Python og på tværs af frontend, DevOps og performanceopgaver. Det er mere ærlig kode med færre smutveje — og højere risiko, når modellen skal skrive rigtige kerner og ikke bare wire ting sammen.

Det er netop her, de første uafhængige tests stikker til historien. At forfatte low-level-kode er modigt, men regressioner gør ondt. Og debugging af modelgenererede Triton- eller CUDA-stykker er ikke en søndagsopgave.

Benchmark-påstandene set udefra

Moonshot rapporterer selv +21,8 procent på Kimi Code Bench v2, +11 procent på Program Bench og +31,5 procent på MLS Bench Lite. Alle tre er proprietære. Det er ikke automatisk diskvalificerende, men det kræver ekstra dokumentation at tage for gode varer, når testene ikke følger en offentlig eval-protokol. VentureBeat bemærker samtidig, at K2.7 endnu ikke er indsendt til DeepSWE, et uafhængigt benchmark med større spredning mellem modeller end SWE-Bench Pro og derfor typisk bedre til rutevalg i gateways.

Banner

Producenter kan tune træning og prompts, så en hjemmebane-benchmark viser fremskridt. Den relevante lakmusprøve er uafhængige suiter, der presser modellen på uventede kanter. DeepSWE er én. KernelBench-Hard er en anden. Og netop der begynder fortællingen at vakle.

Uafhængige reaktioner: mere “ærlighed”, ikke højere kapabilitet

Forskeren Elliot Arledge kørte K2.7-Code op mod K2.6 og Claude Fable 5 på KernelBench-Hard og lagde fulde run-logs offentligt hos kernelbench.com. Hans konklusion på X lød omtrent sådan: “K2.7 er mere ærlig, men ikke mere kapabel.” På fem ud af seks problemer skrev K2.7 reelle, forfattede Triton-kerner, hvor K2.6 i højere grad brugte wrappers. To af K2.7’s kerner fejlede dog på modelens egne bugs. Og resultatet på MoE-kernen regresserede fra 0,222 til 0,157 i Arledges måling.

Udvikler Sugumaran Balasubramaniyan, der har bygget en model-router baseret på DeepSWE for Hermes Agent, udfordrede Moonshot offentligt på benchmark-valg. Hans pointe var: “Respektfuldt, alle modeller ‘forbedrer’ tocifret på deres egen test-suite.” Han nævnte også, at K2.6 lå på 24 procent på DeepSWE, på linje med GPT-5.4-mini, og spurgte, om Moonshot vil indsende K2.7 til samme uafhængige måling. Præmissen er svær at være uenig i: routingbeslutninger bør hvile på eksterne signaler.

Tekniker sætter en testkø i en isoleret sandbox-bench; cyan/grønne indikatorer mod indigo baggrund.

Thinking mode, låst sampling — hvad betyder det i praksis

K2.7 kører altid i thinking mode. Slår man det fra, returnerer API’et fejl, ifølge MarkTechPost. Samtidig er sampling låst: temperatur 1,0, top_p 0,95, n=1, ingen straffe. Det strammer determinismen på én akse og fjerner styring på en anden. Man kan ikke skrue ned for hallucinationsrisiko via temperatur, og man kan ikke forkorte “tænke-loops” ved at slå reasoning fra for at hente latency. Det er en designbeslutning, der prioriterer en bestemt arbejdsstil over fleksibilitet.

For teams med CI/CD-agenter og krav om reproducerbare builds kan det være en sten i skoen. For andre kan det være fint, fordi for mange knapper alligevel skaber støj. Men valget er ikke gratis: fejlhåndtering, retry-strategier og sandkassekørsler skal ind i pipeline-arkitekturen, hvis modellen skriver lavniveau-kode, der kan crashe i eksekvering.

Drift og integration: 256

K kontekst er en gave, men tung

Lang kontekst kræver hurtig disk og caching for at undgå, at latensen løber. Og hvis organisationen regner med at køre mange samtidige agent-tråde, bliver skaleringsudfordringen reel. Med INT4-kvantisering får man noget tilbage i throughput, men det er stadig ikke edge-venligt. Kort sagt: planlæg som et lille ML-serving-projekt, ikke som et hobby-eksperiment.

Hvor lander de økonomiske gevinster

Moonshot siger 30 procent færre thinking tokens sammenlignet med K2.6. Hvis måden at tælle på afspejler det, udbydere fakturerer for, kan det reducere omkostninger pr. succesfuld run i agentiske pipelines. Men det kræver tre ting: 1) at den opgavefordeling, Moonshot har målt på, ligner jeres; 2) at fejlrate ikke stiger, så der kommer flere retries; 3) at drift (opsætning, overvågning, ekstra validering af lavniveau-kode) ikke æder gevinsten.

Der mangler i skrivende stund en offentlig, reproducerbar metodebeskrivelse for, hvordan “30% thinking-token reduction” er målt. Uden det bør regnestykket afprøves på egne workloads. Mål cost-per-successful-run, ikke bare tokens-per-call. Og tal åbent om skjulte omkostninger: logning, sandbox-infrastruktur og tid brugt på at efterse kerner, der kører for langsomt eller falder på kanten af hardware.

Kimi K2.7-Code lover 30% færre 'thinking tokens' — praktikere spørger hvordan - billede 3

Agentiske workflows og governance

Moonshot positionerer K2.7 til planlægning, redigering, værktøjskald og debugging over mange skridt. Det passer med lange kontekster og en model, der “tænker” højt. Men governance bliver vigtigere, når modellen forfatter kerner og scripts, som faktisk kører. Det er ikke nok med unit tests. Man skal have ressourcelofts, timeouts, rollback og et auditspor for ændringer, der rulles ind i repoet af en agent.

Banner

Der er også et reguleringslag. EU’s AI-forordning presser krav om risikostyring, logging og menneskelig kontrol ind i værktøjer, der kan påvirke systemers drift. Agentiske udviklingsflows, der selv ændrer og kører kode, ligger tæt på grænsen for, hvad revisorer vil acceptere. Det er ikke et forbud, men det gør det nødvendigt med klare kontrolpunkter og dokumentation.

Hvem får mest ud af K2.7-Code

Store softwarehuse med centraliseret platformsteam. ML/AI-labs, der i forvejen driver MoE’er i produktion. Infrastrukturteams, som kan automatisere kernel-tuning, databehandling og pipeline-orkestrering. Fællesnævneren er modenhed: uden CI, sandbox-eksekvering og testbed for benchmarks er der risiko for spildt arbejde.

Små teams kan stadig få værdi via API-adgang, især hvis de allerede kører K2.6 gennem en gateway. Men selvhosting med 500+ GB vægte og lang kontekst er sjældent fornuftigt uden en driftsrundkørsel først.

Sådan tester man den for alvor

Der er tre sæt briller at tage på. Først kapabilitet: brug DeepSWE og KernelBench-Hard for at måle på tværs af modeller. Dernæst omkostning: mål tokens, væg dem med pris, og mål succesrate per run. Til sidst drift: sæt latency-SLO’er, log RAM/VRAM og evaluer skaleringsadfærd ved samtidighed. Proprietære suiter kan bruges som supplement, men de kan ikke stå alene.

En praktisk note: hvis man planlægger at give modellen lov til at forfatte low-level-kerner, så indfør en ekstra gate i jeres CI, hvor GPU-kode kører i isoleret miljø med performance-regressionstests. Det er tungt — og billigere end et nedbrud fredag kl. 16.37.

Risici og begrænsninger, uden pynt

Modelbugs i low-level-kode. Regressioner, som Arledge peger på i MoE-kernen. Manglende indsendelse til DeepSWE svækker sammenligneligheden. Låst sampling begrænser tuningrum og kan være et irritationsmoment i debug. Og uden offentlig metodik for 30-procents-tallet er effektivitet stadig et “vis mig loggen”-spørgsmål.

Endnu en praktisk hæmsko: hvis I bygger routinglogik, der vælger modeller efter opgavetype, kan en stærk proprietær score skævvride vægtningen. Brug derfor eksterne signaler først, producentens bagefter. Det er modsat det, pressemeddelelser ofte lægger op til — og giver normalt færre overraskelser.

Konklusion og konkrete næste skridt

K2.7-Code er teknisk ambitiøs og mere “ærlig” i den forstand, at den forsøger at skrive den rigtige kode frem for at skjule sig bag wrappers. Det koster på stabilitet i de første målinger, men kan give et højere loft på sigt, hvis træningen følger med. Moonshots egne benchmarks er pæne, men indtil der foreligger uafhængige tal, bør tilliden ligge midt på skalaen.

  • Kør en 14-dages A/B på egne workloads mod K2.6 med målinger af cost-per-successful-run, ikke kun tokens.
  • Indfør en kernel-sandbox i CI til alt, der ligner Triton/CUDA, med regressionstests og timeouts.
  • Benchmark med DeepSWE og KernelBench-Hard før produktionel routing vægtes om.
  • Revider governance: logning, change control og menneskelig godkendelse, før agentisk kode merges.

Appendiks og metode

Kilder brugt til faktatjek og krydsvalidering:

  • VentureBeat: “Kimi K2.7-Code cuts thinking tokens 30% — but practitioners say the benchmarks don’t check out” — brugt til lanceringen, licens- og API-oplysninger, påstande om 30% thinking-token-reduktion, proprietære benchmark-tal, fraværet af DeepSWE-indsendelse, citater og referencer til Arledges logs og Balasubramaniyans kritik. Inspiceret 14. juni 2026.
  • MarkTechPost: “Moonshot AI Releases Kimi K2.7-Code…” — brugt til arkitekturdetaljer (1T MoE, 32B aktiveret pr. token, 384 eksperter, 61 lag, MoonViT ~400M, INT4, 256K kontekst), driftsparametre (tvangs-thinking-mode, låst sampling), selvhosting via vLLM/SGLang/KTransformers samt anslået 595 GB repo-størrelse. Inspiceret 14. juni 2026.
  • KernelBench-Hard (via VentureBeat’s henvisning til kernelbench.com) — brugt til at referere Elliot Arledges offentliggjorte run-logs og resultater (bl.a. regression fra 0,222 til 0,157 på MoE-kernen, fejl i to af seks kerner, vurderingen “mere ærlig men ikke mere kapabel”). Inspiceret 14. juni 2026.
  • X-indlæg fra Sugumaran Balasubramaniyan (refereret af VentureBeat) — brugt til at belyse kritik af proprietære benchmarks og pointer om DeepSWE-scorer og router-validering. Inspiceret 14. juni 2026.

Uklarheder og huller: Der foreligger ingen offentlig DeepSWE-indsendelse for K2.7 på tidspunktet for skrivearbejdet. Metoden bag “30% thinking-token reduction” er ikke dokumenteret i åbne run-logs. HuggingFace-repoets eksakte størrelse kan variere med kvantisering. Moonshots proprietære benchmarks leveres uden offentlige eval-scripts, hvilket begrænser reproducerbarhed.

Det korte råd, indtil der foreligger uafhængige tal: mål selv på egne workloads.

Kilder

    Gør brugeroplevelsen bedre.
    Hvilket firma arbejder du for?