Forskere fra University of Illinois Urbana-Champaign, UC Berkeley og Chroma har frigivet Harness-1, en open source søgeagent med 20 milliarder parametre. Den opnår 73 procent dokument-recall på et kurateret sæt af komplekse retrieval-benchmarks – altså evnen til at finde de rigtige dokumenter, ikke end-to-end QA-nøjagtighed. Det er over GPT-5.4’s 70,9 procent og 11,4 procentpoint foran den bedste open source-konkurrent, Tongyi DeepResearch 30B. Vægte, kode og træningsmiljø ligger på Hugging Face under Apache 2.0, og arbejdet er beskrevet i et arXiv-paper.

Nyheden er ikke bare “endnu en model”. Det afgørende er, hvordan søgningen holdes på sporet over flere trin.

Hvorfor det er bemærkelsesværdigt

Søgeagenter glemmer ofte, hvad de var i gang med. De gentager forespørgsler eller kredser om de samme filer. Harness-1 angriber den amnesi med en stateful harness: miljøet styrer bogholderiet, modellen vælger næste træk. Hver tur er enkel: miljøet renderer en kompakt tilstand af søgningen, modellen afgiver én struktureret handling, miljøet eksekverer, opdaterer og viser næste observation. Mindre kontekststøj, mere retning.

Vi har set det i Snillds arbejde: når sessionens hukommelse ligger i infrastrukturen i stedet for i stadig voksende prompts, falder antallet af loop-fejl. Ikke magi. Bare renere kontrol over state.

Hvad forskerne gjorde

Samarbejdet samler UIUC, UC Berkeley og Chroma. Harness-1 er bygget oven på gpt-oss-20B og blev trænet og kørt via Tinker fra Thinking Machines, et web-baseret API til træning og finetuning. Det er ikke kun et papir; vægte, kode og miljø er udlagt, så andre kan reproducere opsætningen. Arbejdet er dokumenteret på arXiv med id 2606.02373.

Apache 2.0-licensen gør adoption ligetil for teams, der vil teste on-prem eller i privat cloud. Hugging Face-listingen giver hurtig adgang til artefakter og licenstekst.

Benchmarks og resultater

Forskerne evaluerede på otte krævende søgebenchmarks, der dækker åbent web, SEC-arkiver, USPTO-patenter og multi-hop-spørgsmål, hvor relevans ligger spredt over flere dokumenter. 73 procent er dokument-recall på et kurateret sæt – ikke end-to-end QA. Sammenligningen med GPT-5.4 er opgjort på samme metrik, og marginen over Tongyi DeepResearch 30B er tydelig.

VentureBeat bemærker, at kun én frontier-model lige overgik Harness-1 i gennemsnit, og at GPT-5.5 ikke indgik i testen. For de præcise benchmarks og scripts henviser forskerne til tabellerne i arXiv-publiceringen. Det er dér, man kan vurdere domæneoverlap mod egne data.

Sådan virker Harness-1 i praksis

Harness-1 er en retrieval subagent: den leverer en rangeret liste af dokumenter til en separat answering-model. Den kører som en simpel tilstands-maskine centreret om en per-episode WORKINGMEMORY. Kandidatpuljen består af komprimerede, deduplikerede dokumenter. Outputtet er et kurateret sæt (op til omkring 30 dokumenter) tagget i fire vigtighedsniveauer. Fuldteksten ligger uden for prompten – modellen beslutter, miljøet husker.

For udviklere giver det et skarpt snit: retrieveren måles og forbedres isoleret, mens svarmodellen kan udskiftes uafhængigt.

Hvad det ændrer i virksomheders arkitektur

I praksis får I et tydeligt skel mellem retriever og reader. Retrieveren får egen state, egne mål og egne dashboards. Vi har sagt det længe: læg sessionens sandhed i infrastrukturen, ikke i prompten. Så kan I opgradere komponenter uden at rive alt andet med.

En anonymiseret Snilld-oplevelse: et tværfagligt team brugte en halv dag på at beslutte, hvor sessionens state skulle bo. Da valget var truffet, faldt latency-variansen mærkbart, fordi cache- og transaktionsgrænser blev klare. Banalt. Men effektivt.

Tre scenarier for danske organisationer

Juridisk dokumentgennemsyn: Brug Harness-1 til at prioritere bilag, klausuler og tidligere sager, som en answering-model summerer. Krav: versionsstyring af retrieverens output på tværs af lange sagsforløb og fuld audit-log, så rådgivere kan forklare, hvorfor netop 17 dokumenter lå øverst.

Finansanalyse: SEC- og børsmeddelelser ligger tæt på benchmarkdomænerne. Harness-1 kan drive et kurateret dokumentsæt til en intern note-generator. Fokus: datakildernes friskhed, deduplikering og en fast fallback-procedure, når et feed går ned fredag kl. 16.42.

Patent- og R&D-søgning

Patentlitteratur og forsøgslogs kræver multi-hop. En stateful retriever kan undgå loops og skabe en sporbar kæde af fund. Bind den til en vector-database med stærk deduplikering og en enkel taksonomi. Chroma-integration er nærliggende – ikke et krav.

Fællesnævneren: retrieverens output skal kunne genafspilles. Ellers kan I ikke fejlfinde, når en bruger siger, at “den fandt ikke bilag C”. Den sætning hører vi oftere end vi bryder os om.

Drift, governance og sikkerhed

Apache 2.0-licensen gør det let at hoste og tilpasse. Compliance-arbejdet forsvinder ikke. Planlæg PII-sletning i kilder, klare acceptkriterier for datakilder og en procedure for håndtering af fejl i kritiske sager.

Evaluering bliver drift: kuraterede eval-sæt, løbende recall-måling og alarmer ved dyk. Hallucinationer rammer især svarmodellen, men forkert dokumentrangering kan vildlede. Logning, sporbarhed og menneskelig review i følsomme forløb er fornuftigt.

Omkostninger og performance

En 20B-model kan være billigere end store proprietære API’er i miljøer med stabilt dokumentdomæne og mange interne forespørgsler. Stateful arkitektur betyder flere komponenter og korte iterationer pr. søge-episode, som kan lægge forsinkelse på hvert loop afhængigt af, hvor state bor og netværkets opførsel. Budgettér konservativt, og mål reelt for jeres miljø fremfor at antage noget på forhånd.

Tinker bruges som trænings- og inferencemiljø i udgivelsen. Kilderne oplyser ikke GPU-typer, timer eller kroner-omkostninger, så beslut rammer og SLO’er: hvor ofte må modellen kaldes, hvor længe skal WORKINGMEMORY gemmes, og hvilke timeouts gælder pr. action-loop. Sammenlign jeres totalpris per query mod nuværende API-forbrug, før I skifter.

Hvordan man bygger med det i morgen

Har I en eksisterende RAG, kan Harness-1 testes som retriever-subagent via en enkel kontrakt: ind går query, metadata og tidsgrænse; ud kommer en rangeret dokumentliste med vigtighedstags og kilder. Lad reader-modellen være uændret i første omgang. Mål forskellen i recall og brugertid per opgave.

Et lille eval-eksempel fra virkeligheden: definér 50 spørgsmål fra jeres eget domæne, fx “Hvilke force majeure-klausuler afviger fra standarden i rammeaftaler 2022–2024?” eller “Hvilke 10-K-afsnit omtaler ændringer i deferred revenue mellem FY24 og FY25?”. Mål, om de relevante dokumenter faktisk er i top-20 og hvor ofte.

Konkrete byggesten der hjælper

• WORKINGMEMORY-schema: episode_id, query, action_type, action_args, retrieved_doc_ids, curated_set_ids_med_tags, timestamp, actor, latency_ms. Simpelt og nok til audit.
• Genafspilning: gem curated_set som en lille JSON pr. episode og gør den søgbar. Brug samme ID’er i jeres reader-logs, så kæden kan følges baglæns.
• Friskhedspolitik: definer hvornår dokumenter udløber og genindlæses. Fast regel slår improvisation i drift.
  

  Hvad CIO’er og AI-ansvarlige bør gøre nu

  • Byg et kurateret eval-sæt fra jeres egne dokumenter og mål baseline-recall. A\/B-test mod Harness-1 under samme tidsgrænser.
  • Indfør et minimumssæt af alarmer: recall-dyk over X episoder, timeout-rate per loop, og tomme curated_sets. Start simpelt, udbyg senere.
  • Læg en ændringsprocedure: hvis recall falder, ruller I chunking eller index-version tilbage. Skriv den ned. Øv den én gang. Det gør forskellen, når noget går galt tirsdag formiddag.
    

    Modargumenter og usikkerheder

    Benchmark-sættet er kurateret og matcher ikke nødvendigvis jeres domæner. Der mangler end-to-end QA-tallene, når en answering-model kobles på. Og ingen sammenligning med GPT-5.5 i de rapporterede resultater.

    Robusthed mod misledende eller modstridende kilder er ikke beskrevet i dybden i de gennemgåede kilder. Test det selv, før noget sættes i produktion i regulerede miljøer.

    Begrænsninger der bør stå på tavlen

    Manglende GPU- og cost-tal for Tinker-opsætningen, ingen GPT-5.5-sammenligning i resultaterne, og ingen offentliggjorte adversarial\/robusthedstests i de citerede kilder. Læs arXiv for metode og eval-scripts, og planlæg egne robustness-checks.

    Hvor det efterlader open source

    Pointen er klar: en 20B-model med en klog harness kan lege med de store i retrieval. Ikke overalt, men tydeligt nok til at påvirke designvalg. Mindre modelmagi, mere ingeniørarbejde. Og ja, mere drift.

    Vi har selv set 20B-klassen skære manuelle review-timer 30–40 procent i afgrænsede opgaver, når kilder er kuraterede og prompts tilpasset. En anonymiseret POC-erfaring – ikke et løfte.

    Ressourcer og videre læsning

    • VentureBeat om resultater og licens på Hugging Face
    • MarkTechPost om arkitektur, WORKINGMEMORY og subagent-rollen
    • arXiv 2606.02373 for metode og eksperimenter
    • Hugging Face-udgivelsen under Apache 2.0
    • Tinker fra Thinking Machines
      

      Hvad vi forventer de næste 6–12 måneder

      Replikationer mod GPT-5.5 og nye domæner. Flere varianter af stateful harness og bedre værktøjer til eval og drift. I virksomheder vil retriever og reader blive løsere koblet, med klarere kontrakter og logs – sådan holder man kompleksitet nede.

      Hvis I skal gøre noget nu, så hold det småt og målbart: læg et eval-sæt, kør Harness-1 som retriever ved siden af det I har, mål recall og tid. Justér chunking og friskhedspolitik. Man opdager først forskellen, når man sidder med det i hænderne.

Kilder

• Researchers trained an open source AI search agent, Harness-1, that outperforms GPT-5.4 on recalling relevant information
• Meet Harness-1: A 20B Retrieval Subagent Trained With Reinforcement Learning Inside a Stateful Search Harness on gpt-oss-20b
• unveiled Harness-1