Et forskerhold fra University of Illinois Urbana-Champaign, UC Berkeley og Chroma præsenterer Harness-1, en 20 milliarder parameters retrieval-subagent bygget oven på gpt-oss-20b – med både vægte og kode offentligt. Det vigtige er arkitekturen: en stateful harness, der flytter hukommelse og bogføring ud af selve LLM-politikken og lader modellen fokusere på de semantiske valg. Det rammer et velkendt problem i praksis: voksende transkripter, overfyldte prompts og uklare beviser.
Arbejder du med dokumenthentning, verifikation eller sporbarhed, mærker du det hurtigt. Uden et styrende hukommelseslag begynder alt at flyde. Harness-1 gør det håndterbart. Vægtene er offentlige, så man kan prøve selv – licens og praktiske huller tager vi senere. Først: hvad det er.
Hvad er Harness-1
Harness-1 er ikke en svarmaskine. Den leverer et rangeret sæt dokumenter til en efterfølgende model, der svarer. Politikdelen i Harness-1 beslutter, hvordan der søges, hvad der læses, hvad der kureres, og hvornår der stoppes. Harnessen – det omkringliggende system – holder styr på alt, der kan genberegnes og rederiveres. Den adskillelse er kernen.
Grundmodellen er gpt-oss-20b, fine-tunet med supervision og derefter reinforcement learning inde i harnessen. Ifølge den primære kilde er pointen at undgå, at RL både skal lære strategi og bogføring på én gang. Når vi har set RL på agenter, gentager de ofte samme søgehandling igen og igen, fordi hukommelsen ender som et mudret prompt-anhæng, ikke en egentlig datastruktur.
Hvordan virker den stateful harness
Harnessen kører som en tilstandsmaskine omkring en WORKINGMEMORY per episode. Hver tur i løkken er enkel: harnessen viser en kompakt gengivelse af tilstanden, modellen afgiver én struktureret handling, harnessen udfører den, opdaterer tilstanden og viser næste observation. Det er netop det, der forhindrer prompten i at vokse ukontrolleret.
Skellet er afgørende: Politikken tager de semantiske valg, mens harnessen holder den genopbyggelige state – kandidater, fuldtekst, relationer, tags. Det kan lagres uden at blande det ind i næste token-strøm. I praksis ser vi samme effekt: Flytter man “hvad vi så” ud i en ekstern struktur og kun viser kondenserede uddrag per tur, falder både tokens og fejlrate. Da vi gik fra “hele chunken i prompten” til sentence-BM25-uddrag, fik vi lavere omkostning og mere stabil adfærd.
Hvilke state-komponenter holder harnessen
Harness-1 holder flere stykker state kørende. Der er en kandidat-pool med komprimerede, deduplikerede dokumenter. Der er et kureret sæt – det endelige output – med importance-tags og et fast loft på 30 dokumenter. Tags har fire niveauer: very_high, high, fair, low. Loftet på 30 tvinger politikken til at prioritere.
Der er også en fuldtekst-store, som gemmer alle hentede chunks uden for prompten. Ovenpå det bygger de en evidence graph samt en regex-baseret extractor, der kigger efter egennavne, årstal og datoer. Harnessen renderer tre nyttige gengivelser: hyppige entiteter, “bridge documents”, der forbinder to eller flere hyppige entiteter, og singletons, som kun optræder i én kilde og derfor kalder på opfølgning. De tre visninger gør det lettere at skifte taktik midt i en episode.
Policyens værktøjskasse og træning
Politikken arbejder gennem otte værktøjer: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify og end_search. Små, veldefinerede handlinger: fan_out for at brede søgningen, grep for at filtrere i fuldtekst, curate for at løfte ind i det endelige sæt med en vægt.
Træningen spejler arkitekturen. Først supervised fine-tuning for at lære interfacet. Ifølge kilden bruger de 899 filtrerede trajectories og LoRA med rank 32 i tre epoker. Dernæst RL inde i harnessen med en on-policy CISPO-opsætning, 40-turs cap og kun terminal reward. Der er en bonus for værktøjsdiversitet; uden den kører agenten fast i gentagne søgninger og plateauer omkring 0,53 i curated recall. Med bonus løfter den til cirka 0,60.
Resultater og hvad vi kan stole på
Forskerne rapporterer evaluering på tværs af otte benchmarks, bl.a. web, finans, patenter og multi-hop QA. Hovedmålet er curated recall – andelen af relevante dokumenter i det endelige kurerede sæt. De ser også på trajectory recall, hvor alt, der blev mødt undervejs, tæller. I den offentliggjorte gennemgang ligger Harness-1 over gpt-oss-20b på curated recall og i feltet omkring 0,60–0,73 afhængig af opsætning og domæne, mens stærke frontier-modeller fortsat er højere på enkelte sæt.
Pointen: Separationen af state og politik er ikke kun et pænt diagram, men giver målbart løft i kurateringen i den rapporterede opsætning. Vi vil gerne se uafhængige replikationer; egne data er sjældent lige så pæne som benchmarks – især når metadata er rodede.
Offentliggjorte vægte og kode
Holdet skriver, at både vægte og harness-kode er offentlige med link til arXiv, og omtalen oplyser en fuld release. Det muliggør reproducerbarhed og rigtige sammenligninger. Licensen er dog ikke bekræftet i materialet, vi har kunnet gennemgå. Det stopper produktion, indtil vi ved, om det er MIT, Apache, GPL eller andet.
Reproducerbarhed afhænger også af, om scripts, LoRA-parametre, checkpoints og seeds er med. Kilden beskriver LoRA-rank, antal epoker og RL-rammen, men vi mangler stadig commit-hashes, præcist vægtfilnavn og eventuelle sikkerhedsfiltre for træningsdata. Det er åbne spørgsmål – og bør stå på tjeklisten, før man lover en POC på to uger.
Hvor det batter i praksis
Arkitektur først: Når bogføring, fuldtekst og graf flyttes ud, kan prompten holdes ren, og hukommelsen bliver genbrugelig på tværs af episoder eller kanaler. Det ændrer integrationslaget mellem LLM og dokument-store. I stedet for at hive hele chunken ind for hver tur, rendrer man afledt state kompakt og lagrer resten. Det sparer tokens og giver mere stabil latens – men flytter kompleksitet til I/O og storage.
Driftsmæssigt stiger afhængigheden af indeksering og deduplikering. Full-text store plus evidence graph kræver backup, versionering og helst snapshotting per episode. Audit forbedres: Curated set med importance-tags og grafen giver et eksplicit spor af, hvorfor noget kom med. Det letter compliance. Men man får også flere fejlpunkter; en korrupt graf-nøgle kan vælte en vagt.
Konkrete integrationsvalg vi ville træffe i dag
Start med sentence-BM25-uddrag og to-niveau deduplikering (chunk-ID og content-fingerprint). Det matcher den beskrevne opsætning og holder relevans uden at sprænge tokenbudgettet. Brug kanalseparation: søgning og verifikation i hver sin pipeline, men samlet i harnessen. Læg review-UX’en tæt på curated set – ingen ekstra klik for kilder.
For governance: Importance-tags er kontrakt, ikke pynt. Aftal på forhånd, hvad very_high kræver af kildekvalitet. Og hav en human-in-the-loop, når verify markerer singletons; her sker flest fejl. Vi har for nylig brugt tid på et årstal, der viste sig at være et filnavn – ikke en rapportdato.
Begrænsninger, risici og åbne spørgsmål
Cold-start håndteres ved auto-seed: første succesfulde søgning fylder otte re-rankede resultater ind i det kurerede sæt som fair. Smart, fordi politikken kan forfine i stedet for at bygge fra nul. Men auto-seed kan cementere tidligt bias, hvis søgedækningen er ujævn. Overvåg diversitet i de første ture.
Evaluering på brede domæner er sparsomt beskrevet i det offentlige materiale. Vi mangler tal for latency, storage-overhead og cost per episode. Robusthed mod hallucinationer bør være bedre end uden harness, fordi verify og grafen hjælper, men det er ikke et skjold. Et forkert bridge document kan trække en hel episode på afveje. Og så er der licens- og sikkerhedsrisikoen ved at køre uprøvede vægte i produktion – det skal vurderes case for case.
Sådan kan virksomheder teste det i praksis
Lav en smal pilot: 10–30 tusind dokumenter, blandede genrer, men gode metadata. Sæt mål for curated recall – ikke kun downstream svarpræcision. Mål latens per tur og total episodetid. Mål antallet af verify-kald og hvor ofte de ændrer kurateringen; det siger mere om robusthed end en pæn slutscore.
Tjekliste: metadata-normalisering før indeksering; deduplikering ved ingestion; snapshots af WORKINGMEMORY og evidence graph per episode; overvåg værktøjsdiversitet og flag gentagelsesmønstre; hold en shadow-baseline med ren BM25 eller eksisterende vektorretriever. Planlæg en “red team”-uge med tvetydige forespørgsler.
Hvad det betyder for UX og menneske-i-loop
Fordi Harness-1 kun leverer kurerede kilder, er menneskelig gennemgang central. Vis curated set som førsteklasses borger i UI’et med importance, entitetsudtræk og links til full-text. Giv verificeringsfund historik – hvornår blev hvad læst, og hvorfor blev vægten ændret. Hold den endelige svarmodel ansvarlig for at vise kilder.
Vi har haft gode erfaringer med at lade brugeren promovere eller degradere dokumenter direkte i det kurerede sæt. Et tørt klik på knappen gjorde anmeldere hurtigere – små ting hjælper.
Hvad konkurrenterne sandsynligvis vil sige
Nogle vil hævde, at frontier-modeller med større kontekstvinduer og bedre indre hukommelse gør harnesser overflødige. Det er for tidligt. Selv med store vinduer gør eksplicit state og audittrails styring og efterprøvning lettere. Andre vil pege på proprietære agent-frameworks med flotte dashboards. Uden klar adskillelse mellem politik og hukommelse ender man stadig med prompt-bloat og svær fejlfinding.
Der vil også komme spørgsmål til RL-delen. Er gevinsten robust uden for SEC-spørgsmålene, som træningen fokuserede på ifølge kilden? Det mangler data. Og er 20B-parametre overkill for ren retrieval-politik? Måske. Men vægte i den størrelsesorden er blevet realistiske on-prem for flere virksomheder.
Interview- og verifikationsplan
Vi bør tale med forfattere fra UIUC, UC Berkeley og Chroma om licens, fuld reproducerbarhed og evaluering på flere domæner. Vi vil gerne have pointer om håndtering af staledata og dokumentkorpus i bevægelse samt anbefalet backup-strategi til WORKINGMEMORY og evidence graph. Det er driftsdetaljer, der afgør produktionsparathed.
På eksperiment-siden vil vi replikere en lille episode: køre en SEC-forespørgsel samt en patentsøgning, logge kandidat-pool, curated set og verify-sti og sammenligne med en baseline med BM25 plus en standard vektorretriever. Benchmark: curated recall, trajectory recall, tur-latens og værktøjsdiversitet. Dokumenter vi dobbelttjekker: cap på 30 dokumenter, tags og de otte tools. Vi noterer commit-hash og vægtfil-navn, før vi konkluderer.
Hvad vi vil holde ekstra øje med i drift
Tre faldgruber vi ofte ser: 1) dårlige metadata, der smadrer kurateringens signal; 2) manglende diversitetsincitament, så politikken kører i ring; 3) for løse regler for importance-tags, som gør audit til en semantisk mudderkamp. Harness-1 adresserer 2) med en diversity-bonus. 1) og 3) er organisationsarbejde.
Log “bridge documents” særskilt. De er stærke, når de er rigtige, men farlige, når de forbinder støj. Et simpelt kvalitetssignal er, hvor ofte et bridge document bliver nedgraderet efter en read_document plus verify. Sker det ofte, er entitetsudtrækket for bredt – skru ned.
Konklusion
Harness-1 adskiller strategi fra hukommelse på en måde, der holder i drift: mindre prompt-bloat, bedre sporbarhed, mere kontrollerbar adfærd. Offentlig kode og vægte gør, at vi kan teste det selv. Vi savner stadig licensafklaring, latency- og cost-tal og bredere evaluering. Retningen er klar.
Næste skridt hos os er et kompakt POC-korpus og måling af curated recall og værktøjsdiversitet op mod vores nuværende retrieval-stack. Holder tallene, rykker vi stateful harness fra idé til standardkomponent i vores enterprise-arkitektur.
