De fleste agenter går i stå, når mennesket slipper musen. Prompterne stivner. Modellen stivner. Hexo Labs prøver at bryde mønsteret med SIA, et open-source framework under MIT-licens, der lader en agent forbedre sig selv ved både at redigere “harnesset” omkring modellen og opdatere vægtene. I samme løkke. Det er den korte version.
MarkTechPost beskriver udgivelsen og den tekniske kerne og linker til et arXiv-paper med flere detaljer. SIA opererer i to tilstande: SIA-H (kun harness-ændringer) og SIA-W+H (harness plus vægtopdateringer). Det interessante er effekten: vægtopdateringer gav ekstra løft i alle tre testdomæner ud over, hvad scaffold-ændringer alene leverede.
Hvad blev annonceret
SIA er frigivet som open source under MIT, ifølge MarkTechPost. Frameworket opdeler en agent i to dele: et harness (scaffold) og modelvægte. Den selvforbedrende løkke styres af tre LLM-komponenter, hvor en Feedback-Agent efter hver kørsel vælger ét af to træk: enten omskrive harness eller opdatere vægte via LoRA. Base-modellen i forskningen er openai\/gpt-oss-120b, og træninger kørte på H100 gennem Modal.
Kilderne bekræfter de centrale tekniske punkter: MIT-licensen, loop-designet, LoRA rank 32 samt Meta- og Feedback-Agent på Claude Sonnet 4.6. ArXiv-linket er angivet; vi savner stadig de fulde scripts og eksakte hyperparametre. Mere om det senere.
Hvad SIA er teknisk
Splittet er simpelt, men vigtigt. Harness-delen dækker systemprompt, tool-dispatch logik, retry-regler og udtræk af svar fra agentens forløb. Vægtene er, ja, vægtene. SIA bruger tre LLM-roller til at køre løkken: en Meta-Agent, der skriver første udgave af harness ud fra en opgavebeskrivelse, en Task-Specific Agent, der løser opgaven og logger hvert skridt, og en Feedback-Agent, der læser hele forløbet og beslutter næste ændring.
Feedback-Agenten har to knapper: 1) skriv harness om, hold vægte faste, eller 2) udløs en vægtopdatering (LoRA ved rank 32), hold harness fast. Skellet mellem ydre logik og selve modellen gør evaluering mere håndterbar: man kan gate og rulle hver type ændring separat.
Hvordan eksperimenterne kørte
Forskerne kørte Meta- og Feedback-Agent på Claude Sonnet 4.6. Base-modellen var openai\/gpt-oss-120b. Vægtopdateringer brugte LoRA rank 32. Træning skete på H100 via Modal, der beskrives som teamets RL-setup. De to driftsmåder – SIA-H og SIA-W+H – bruges gennem hele materialet.
Der er et par små grus: Der optræder en tal-uoverensstemmelse på LawBench, som vi vender tilbage til. Og som altid med redaktionelle opsummeringer vil vi gerne se de faktiske jobspecs fra Modal og en fuld pipeline-beskrivelse. VentureBeats dækning af nyere Claude-modeller giver kontekst om modellandskabet; for SIA-eksperimenterne holder vi os til MarkTechPosts beskrivelser.
Resultater i tre domæner
LawBench. Opgaven er top-1 klassifikation over 191 kinesiske strafferetlige klasser. Ifølge MarkTechPost gik nøjagtigheden fra 13,5 procent (initial) til 45,0 procent med SIA-H. Dernæst 50,0 procent for SIA-W+H. Og så dukker der i tabellen en 70,1 procent op. Teksten beskriver, at harness-iteration plateauer ved 50,0 procent, hvorefter vægtopdatering med PPO skubber til 70,1. Her er en uoverensstemmelse mellem tekst og tabel – 50,0 vs. 70,1 som to forskellige SIA-W+H-punkter. Vi efterlyser en præcis checkpoint-sekvens fra Hexo Labs: er 70,1 et senere vægt-checkpoint end det, der omtales som 50,0, eller en kombineret optimering?
TriMul (CUDA-kernel). En custom H100-kernel til en kerneoperation i AlphaFold2s Evoformer. Harness-justeringer gav 1,14× speedup. SIA-W+H kørte tiden fra 12.483 til 1.017 mikrosekunder, altså cirka 14,02× og ~91,9 procent reduktion fra harness-toppen. Fair nok: Claude Code klarede 1,50× alene, så SIA-Hs 1,14× er ikke magi. Men vægtopdatering gav springet.
Denoising-casen
Single-cell RNA imputation via MAGIC. Harness-sweeps ramte 0,241 i mse_norm. Første vægt-checkpoint tilføjede en lille ændring – afrunding til ikke-negative heltal – og bragte scoren til 0,289. Niche-case, men pointen er tydelig: nogle mønstre lander bedre i vægtene end i ydre logik.
Hvordan vælger Feedback-Agenten sin træningsstrategi? På LawBench, med ren outcome-belønning, brugte de PPO med GAE. På TriMul, hvor mange kerner ikke kompilerede, valgte de entropic advantage weighting for at vægte sjældne high-reward-forløb. På denoising brugte de GRPO, som dropper value-netværket. De nævner også REINFORCE med KL-regularisering til base, DPO og best-of-N behavioural cloning. Pragmatisk valgt.
Hvorfor vægtopdateringer hjælper
Harness-edits er stærke til værktøjskald, fejlhåndtering, stopkriterier og svarudtræk. Men når repræsentationerne mangler domænespecifik viden eller robuste bias-justeringer, flader kurven ud. LoRA-opdateringer kan indkode præcise korrektioner og nye mønstre i modellen uden fuld finetuning. Rank 32 er en rimelig mellemvej.
Der er tradeoffs. Compute koster. Risiko for regression stiger, når vægte flyttes – især med tynde eval-suiter. Derfor er gating, rullende eval og hurtig rollback ikke pynt. I egne PoC’er ser vi typisk, at harness-ændringer er hurtigere og sikrere at shippe; vægte kræver snor: staging, canary, overvågning og hårde stop, hvis metrikkurver dykker.
Hvad betyder det for arkitektur i drift
SIA tvinger et klart pipeline-design: to slags ændringer, to slags kontrol. Harness-opdateringer bør udrulles på minutter med software-principper, feature-flags og tests. Vægtopdateringer er noget andet: checkpoints, promotion-regler og testpakker, der ligner virkeligheden – ikke kun benchmarks.
Continuous evaluation er ikke valgfrit. Automatiske regressionstests, drift-sammenligninger, distribution drift-tjek og sikkerhedstests før promotion. Og logging, masser af logging, så man kan forklare, hvorfor en Feedback-Agent valgte vægte frem for harness, og hvad træningsdata bestod af den dag.
Drift og sikkerhed
Modelkort og audit logs som første klasse: Hvem godkendte vægt-update, på hvilket datasæt, med hvilke hyperparametre. Rollback skal ske uden tab af trafik eller state, med versions-stabile runbooks. Vi anbefaler safe windows til vægtopdateringer – planlagte tider med forstærket overvågning og klar revert-knap.
Adversarial robusthed: Når en agent lærer on-policy fra egne logs, kan mærkelige hjørner blive forstærket. Isolér træningsdata, hold øje med sjældne adfærdsskift i produktion. Og stram adgangsstyring: ikke alle skal kunne trykke “promote weights”. Tænk change management i SRE – nye artefakter, samme disciplin.
Økonomi og infrastruktur
Hexo kørte H100 via Modal. LoRA ved rank 32 er markant billigere end fuld finetuning, men gratis er det ikke. Der betales for GPU-cyklusser, for Feedback-Agent-kørsler og for observability. En vægtopdatering på forkert tidspunkt kan koste mere i stabilitet end den sparer i ydelse. Vi sætter typisk et budgetloft pr. eksperiment og et hårdt stop ved stigende valideringstab.
Hvor giver SIA ROI? Når opgaven er stabil nok til at måle robust forbedring (klare metrikker), men dynamisk nok til at harness alene ikke rækker. Eksempler som LawBench-lignende klassifikationer med tydelig belønning, specialiseret kodegenerering med kompilérbarhed som signal eller bioinformatik, hvor små, konsistente forbedringer akkumulerer værdi. Mindre oplagt: use cases uden stærkt eval-signal eller med hårde sikkerhedskrav, hvor fejl er dyre. Der kan en ren harness-strategi være første års plan.
Snillds råd til en PoC
Start smalt. Én opgave, tre uger, faste målepunkter:
- Scope og metrikker: Vælg én opgave med klar reward. Definér baseline, SIA-H-mål og SIA-W+H-mål. Aftal regressionsgrænser.
- Dataspor og eval: Byg en lille eval-suite med produktnære cases, edge-cases og sikkerhedstests. Log alle forløb, inkl. Feedback-Agentens beslutning.
- Gating og rollback: Sæt promotion-regler for vægte, canary på 5–10 procent trafik og et klik-rollback. Intet promote uden grønt på alle gates.
- Infrastruktur: H100-adgang via valgt cloud eller Modal-lignende setup. LoRA rank 32 til at starte. Versionering af både harness og vægte.
- Review og beslut: Kør 3–5 loop-iterationer. Frys bedste checkpoint. Beslut om produktionspilot eller arkiv.
Vi har for nylig kørt en LoRA-baseret pipeline i et produkt-lignende miljø for en nordisk kunde. Små harness-ændringer løftede UX hurtigt; vægt-opdateringer gav først værdi efter strammere gating og bedre testdata. Den erfaring gør os bevidst konservative på vægtsiden.
Hvad der mangler i historien
Vi savner fulde træningsscripts, checkpoints og alle hyperparametre i et GitHub-repo, så uafhængige teams kan reproducere tallene. På LawBench vil vi have klarhed over, hvorfor både 50,0 og 70,1 procent vises. Er 70,1 et senere SIA-W+H-checkpoint, et ensemble eller en fejllabel i tabellen?
Vi mangler også detaljer om, hvor ofte vægtupdates trigges i løkken, præcis datakilde pr. domæne (on-policy fra agentlogs eller curated datasæt), samt hvilke guardrails der var aktive under træning. Og det praktiske: multi-tenant skalerbarhed, GPU-konkurrence, datasiloer, versionsdeling mellem teams. Til sidst en licens-kant: kernen er MIT, men controllerne i eksperimenterne kører på Claude. Det gør ikke koden mindre fri, men påvirker reproducerbarhed og omkostninger i praksis.
Konsekvenser for teams der bygger agenter
Agenter bør behandles som to artefakter: harness-ændringer som software-udrulninger; vægtændringer som model-udgivelser med reguleret risiko. To deploymentspor. To sæt gates. En fælles observability-overbygning, der kobler hændelser i brugersessioner med de model- og harness-versioner, der var aktive.
Support skal også følge med. Runbooks må forklare forskellen på en scaffold-regression og en vægt-regression. Hvornår ruller man harness tilbage, hvornår skifter man checkpoint. Vi har set on-call-hold gå i ring, fordi logging ikke viste, at Feedback-Agenten skiftede til vægtopdateringer kl. 02.13. Det lugter lidt af brændt kaffe, når man møder ind.
Hvor vi lander
SIA føles ikke som fremtidssnak. Det er et forsøg på at automatisere noget vi alligevel gør i hånden: skrive bedre prompts og rette modellen, når den ikke leverer. Vi er positive – og stædige i vores krav om governance. Springet i TriMul er mest opsigtsvækkende. Men vi vil se LawBench-tallene afklaret, før vi kalder det fuldt dokumenteret.
Næste skridt er ligetil. Vælg en opgave med klart signal. Sæt to spor for ændringer. Byg en lille, skarp eval-suite. Hold rollback tæt på hånden. Forskellen mærkes først, når man har det i drift.
Appendiks
- Kilder: MarkTechPost “Hexo Labs Open-Sources SIA…” og arXiv:2605.27276 for forskningsdetaljer. VentureBeat for kontekst om Claude-modellers udbud og prislandskab.
- Afklaringer vi efterspørger fra Hexo: bekræftelse af MIT-licens og repo-URL, checkpoint-sekvens for LawBench inkl. 70,1-værdien, LoRA-rank 32-guidelines og træningshyppighed, samt scripts og checkpoints for reproduktion.
- Mulige interviews: en Hexo Labs-forsker om SIA-loop og algoritmevalg, en Modal-repræsentant om jobtyper og omkostningsprofiler, plus en cloud-GPU-udbyder om driftsmønstre for korte LoRA-jobs.
