Agenter kører længere, logger mere og komprimerer løbende for at holde trit: opsummerer, distillerer, abstraherer. Hver runde fjerner lidt information. Ikke ondsindet—bare praktisk. Pointen i artiklen er, at den proces giver uundgåelig repræsentationsdrift: gentagen lossy komprimering fjerner genvindelig information, og agenten begynder at trække næste skridt fra en lidt anden sandsynlighedsfordeling end ved start.
Hvad repræsentationsdrift egentlig er
Drift er ikke et brat kollaps i evne, men en glidning i fortolkning. Agentens interne billede af opgave, rammer og mål forskydes, når lange tråde koges ned, hjørner skæres og konklusioner genbruges—som igen opsummeres. De små tab akkumulerer og ender som målbar afvigelse fra den oprindelige instruks.
I praksis sker det, når noter, logikstumper og destillater bliver til hukommelse. Hver operation er lossy—som at kopiere en kopi. Teksten kan stadig læses, men nuance og kant forsvinder. Artiklen hævder, at agentens outputfordeling derfor skifter, og at det kan måles statistisk.
KL‑divergens gjort anvendelig
Kernen er valget af KL‑divergens. KL måler, hvor meget en sandsynlighedsfordeling afviger fra en anden. Her sammenlignes agentens aktuelle outputfordeling med en baseline fra tidlige cyklusser—eller en distributionsnær repræsentation af den oprindelige instruks. Tænk på det som prisen for at antage, at verden stadig ligner baseline, når den faktisk har flyttet sig.
KL er et velkendt værktøj til distributionsskift. Der findes alternativer som Jensen‑Shannon, wasserstein distance eller klassifikationsbaserede drifttests. Artiklen vælger KL for at kvantificere retningsbestemt afvigelse fra en reference—følsomt i halerne, men asymmetrisk, så man skal vælge måleretning bevidst.
Hvad artiklen faktisk påstår
Dr Swarneendu AI hævder, at repræsentationsdrift i langkørende agenter er matematisk uundgåelig under gentagen lossy komprimering. Der gives endda en tommelfingerregel: efter 500 cyklusser er agenten ikke den samme—målet har flyttet sig, og constraints er eroderet. Forudsætningen er mange iterationer med summariseringsmekanismer og ikke‑tabsløs memory, hvilket matcher de fleste produktionsopsætninger.
Forslaget er todelt: mål drift med KL og læg et praktisk detektionslag af multiple‑choice probes, fulgt af remediation via genindsprøjtning af den oprindelige instruks for at re‑forankre fortolkningen. Ambitionen er operationel: bring KL tættere på nul, ikke bare en teoretisk påmindelse.
Probes med chi‑kvadrat som driftsalarm
Grebet er små kontrolspørgsmål med kendte svar. En probe‑bank tester centrale fortolkningspunkter og constraints. Når agenten rammer et checkpoint, stilles et lille sæt spørgsmål. Svarfordelingen over tid sammenholdes med forventet fordeling, og et chi‑kvadrat‑test flagger, når forskellen bliver signifikant. Det er ikke perfekt, men hurtigt og billigt—og det alarmerer, før nedstrøms KPI’er bevæger sig.
Drift correction ved at genforankre instruktionen
Når drift konstateres, anbefales det at injicere den oprindelige instruks igen, ikke bare som en header, men som et aktivt anker i konteksten. Det kan re‑kalibrere outputfordelingen mod baseline—især når driften skyldes kontekstkomprimering snarere end dybe arkitekturændringer.
Begrænsningerne er tydelige: Kontekstplads er knap, lange ankre kan skubbe friske detaljer ud, og timing betyder noget. Sen injektion hjælper sjældent. Og skyldes driften modelopgradering eller retriever‑skift, løser et anker ikke problemet alene.
Et worked example med kant
Artiklen henviser til en case fra Fareed Khan: en langkørende agent kom igennem host reboot, kontekstoverflow og en opgave med 31 punkter, der blev skåret til 14. Pointen er dobbelt: agenter kan overleve tekniske stød, men robusthed siger intet i sig selv om fortolkningsdrift. At komme tilbage efter en genstart er ikke det samme som at holde kursen på målet.
Hvordan måler man KL i praksis
Artiklen udpeger KL som nøgle, men leverer ikke hele implementeringsopskriften for store sprogmodeller. I praksis kræves en repræsentation af agentens outputfordeling for udvalgte beslutningsklasser eller delopgaver: samle output i cyklusvinduer, bucketisere svar eller logge handlingstyper og sammenligne mod baseline med smoothing, så nulpunkter ikke eksploderer KL. Valg af sampling, vinduesstørrelse og regularisering påvirker stabilitet—det er en ingeniøropgave.
Der er også bias at styre. For snævre buckets skjuler ændringer, for grove giver støj. Et pragmatisk greb er at kombinere KL på få nøglesignaler med probes og chi‑kvadrat. De to signaler dækker hinandens blinde vinkler bedre end mavefornemmelser.
Implikationer for pipelines og drift
Tager man påstandene alvorligt, kræver det observability med tid: ikke kun dagens dashboard, men kurver over forståelse. Versionér instruks, modeludgave og probe‑bank. Gem kontekstsnapshots ved alarm. Det bliver bevismateriale, når beslutninger skal forklares, eller en stabil tilstand skal genskabes.
SLA’er og playbooks bør opdateres: hvornår ruller man tilbage, hvem afgør legitime fortolkningsændringer, og hvilke tærskler gælder for KL og p‑værdier. Uden klare grænser opfinder nattevagten sin egen standard kl. 03.14.
Trade‑offs i virkeligheden
Probes koster latency og compute. For hyppige checks forstyrrer arbejdstråden, for sjældne giver blinde pletter. Event‑drevet aktivering—efter N handlinger eller ved nøgleovergange—er et fornuftigt kompromis. Falske positiver og negativer er vilkår; det her er statistik, ikke sandhedsserum.
Overivrig genindsprøjtning af instruks kan også overstyre agenten og klemme adaptivitet. Instrumentet skal rette kursen—ikke lamme styringen. Balancen findes kun i drift.
Sikkerhed og compliance med mavebælte
Når mål og constraints glider, rammer det ikke kun performance, men også sikkerhed og compliance. En agent, der langsomt normaliserer undtagelser, kan bryde politikker ubemærket. En enkel log over KL‑drift og probe‑resultater giver en efterprøvbar fortælling: hvad skete, hvornår, og hvad gjorde man. Det er sådan audits vindes.
Dokumentér versionshistorik for instruks, model, promptskabelon, retrieverindstillinger, kontekstsnapshot ved alarm og udtræk fra beslutningsloggen. Ikke for at gøre alt tungt—men for at kunne spole tilbage, når det gælder.
Hvor metoden ikke rækker langt nok
Ved større modelskift eller ændret træningsdatafordeling kan KL målt på gamle buckets vildlede. Et versionshop kræver ny baseline. Nogle driftsformer er også semantiske snarere end statistiske i de valgte kanaler: argumentationsdybde eller planlægningsstil kan skride, mens probes ikke fanger det.
Alternativer findes: Jensen‑Shannon er symmetrisk og ofte stabil, wasserstein måler transportafstand og kan være mere meningsfuld i kontinuerte rum, og klassifikationsbaserede tests kan være skarpere med labels. Artiklen holder fast i KL—et rimeligt valg—men andre værktøjer bør være i kassen.
Hvem bør gøre hvad nu
Næste skridt er et hurtigt POC: en agent med instrumenteret løkke, 10–20 probes, KL‑tracking på 3–5 nøglesignaler og simple alarmer. Start med konservative tærskler. Notér, hvornår alarmer går, og hvad agenten faktisk lavede.
Følg fx: KL mod baseline pr. 50 cyklusser, probe‑accuracy og chi‑kvadrat p‑værdi over tid, incident‑tællinger og antal drift corrections. Læg governance‑checkpoints ved større ændringer af instruks eller model, og afklar, hvem der må godkende ny baseline. Her bygges robustheden.
Bevisbyrden ligger på målingen
Artiklen beskriver ikke fuldt ud estimering af KL i praksis eller, hvordan en robust probe‑bank konstrueres og vedligeholdes. Men fraværet af en perfekt opskrift er ikke et argument for at lade være—det er en invitation til at begynde.
Kilder og videre læsning
Primær kilde: Dr Swarneendu AI på Towards AI om repræsentationsdrift, KL‑divergens, probe‑baseret detektion og drift correction via genindsprøjtning af oprindelig instruks (inkl. udsagnet om, at efter 500 cyklusser er en langkørende agent ikke den samme, samt worked example med Fareed Khans agent, der overlevede host reboot, kontekstoverflow og overscoping). Supplerende perspektiv: en intern manusbrief om behov for versioneret observabilitet, tidsserier, kontraktlige constraints og automatiseret rollback i drift. For baggrund om divergensemål henvises til almindelig statistisk praksis, hvor KL, Jensen‑Shannon og wasserstein anvendes komplementært. Overvej også klassifikationsbaserede driftstests som kontrol.
Den korte version: Mål. Ellers opdager du først forskydningen, når den er blevet dyr.
