Lad os være ærlige: det går hurtigere, end mange it-teams kan nå at skrive et Jira-kort. En ny tutorial fra 12. maj gennemgår, hvordan man bygger en hybrid-memory autonom agent med modulær arkitektur og tool-dispatch oven på OpenAI-klienten. Samtidig dokumenterer VentureBeat confused-deputy-sårbarheder i avancerede agenter. De to spor rammer drift i år. Ikke i slides, men i commits.
Vi har læst koden, krydstjekket modelnavne og afhængigheder og målt det op mod virkelige forløb hos kunder. Der er meget at kunne lide. Og et par ting, vi ville lukke ned, før noget rører produktion.
Hvad tutorialen konkret indeholder
Arkitekturen kombinerer tre ting: semantisk vektorsøgning, keyword-retrieval og en modulær tool-dispatch-løkke. Der arbejdes fra abstrakte interfaces til en kørende agent med egen langtidshukommelse. Miljøet sættes op med pip install af openai, numpy og rank_bm25, og der importeres BM25Okapi fra rank_bm25 samt OpenAI-klienten fra openai (jf. tutorialens install- og importblok).
De præcise modelkonstanter og nøglehåndteringen står sort på hvidt i koden:
from openai import OpenAI
from rank_bm25 import BM25Okapi
import getpass
EMBED_MODEL = "text-embedding-3-small"
CHAT_MODEL = "gpt-4o-mini"
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY") or getpass.getpass(" Enter your OpenAI API key (hidden): ")
client = OpenAI(api_key=OPENAI_API_KEY)
Der er rene grænseflader: abstrakte klasser for MemoryBackend, LLMProvider og Tool. Og en MemoryChunk dataclass til selve hukommelsesstumperne. HybridMemory normaliserer embeddings, bygger et BM25-korpus og fusionerer ranglisterne, så både semantisk match og nøgleord vægter i retrieval (jf. tutorialens HybridMemory-klasse og _embed/_tokenise-funktionerne).
Hvorfor hybrid-memory
Hybrid-mønsteret løser et jordnært problem: sprogmodeller mister tråden, især når fagsproget er smalt eller dokumenter er halvstrukturerede. Semantik fanger meningen. BM25 fanger de stædige forkortelser og produktnavne, som kun jeres branche bruger.
Resultatet er mere præcis kontekst over tid, lavere prompt-omkostninger fordi man henter rigtigt indhold første gang, og en hukommelse der kan genbruges på tværs af samtaler, brugere og værktøjer. Kombineret med en lille data-pipeline, der løbende embeder nye dokumenter, falder time-to-value mærkbart.
Hvordan tutorialens design rammer realiteten
Interfaces er ikke kun pænt OOP. De er en integrationskontrakt. MemoryBackend kan mappes til en vektor-DB i drift, mens BM25-laget løftes ud i en søgetjeneste. LLMProvider abstraherer modelvalget, så skift mellem for eksempel gpt-4o-mini og en mindre model i off-peak bliver konfiguration, ikke omskrivning.
MemoryChunk med embedding og metadata er en god vane. Metadata er det, der redder jer efter tre måneder, når retrieval begynder at drive. Vi så det i en kundepilot i energisektoren: forældede embeddings og stigende irrelevans. Kur: periodisk reindeksering plus skarp metadata-tagging for kilde og gyldighed.
Embedding-normalisering og BM25-opbygning ved hver store er fint i demo, men i drift rammer I latency og konsistens. Gør indeksering asynkron, versioneret og idempotent. Byg BM25-korpus i job, ikke i hot path.
Sikkerhed og risici ved tool-dispatch
VentureBeat samler fund fra start maj: et vandforsyningsspor med SCADA-eksponering, en Chrome-udvidelse med nul tilladelser og et OAuth-token-hijack via Claude Code. Det er ikke tre separate bugs, men den samme confused-deputy-klasse på tre flader. Ingen enkelt patch har lukket hullet på tværs (se VentureBeat-stykkets midterafsnit om de tre cases).
Tutorialen viser et Tool-interface, men ingen adgangskontrol. Ingen per-tool-tilladelser, ingen policy-checks, ingen kontekstsignaler om hvem beder om hvad hvornår. Helt normalt for en tutorial. Ikke nok i drift. Og nej, der er ikke ét fix. Problemet er et fladt autorisationsplan, hvor agenten allerede har nøglerne og låner dem ud til den forkerte.
Angrebsoverflader, vi møder i tests: et værktøj der kan skrive filer uden sti-validering. Et kalender-værktøj der ikke tjekker mødeorganisatør mod brugeridentitet. En HTTP-klient med adgang til interne endpoints uden egress-kontrol. Ingen privilege escalation nødvendig, for agenten sad på rettighederne i forvejen.
Drift, overvågning og governance
I skal kunne se, hvad agenten gør – nu og senere. Sæt fuld observability på tool-kald: log input og output, før et korrelations-id med hele vejen fra bruger til værktøj og tilbage, og gem beslutningsstier til audit. Uden det bliver incident-respons gætværk.
Styr også hukommelsen. Versionér jeres vektorindeks. Gem embedding-konfigurationer med data (modelnavn, dimension, normalisering). Log alle memory-writes med hvem, hvad, hvorfor. Indfør kvoter, så en dårlig prompt ikke støjer indekset til. Fail-safes: timeouts på tools, circuit breakers ved fejl og en global kill switch for skrivende værktøjer.
Kør altid i et testdomæne først. En sandkasse hvor værktøjer returnerer realistiske, men harmløse svar. Uden sandkasse opdager man først fejlen, når noget er ændret for rigtigt. Det er for sent.
Teknisk gennemgang der er værd at bide mærke i
HybridMemory fusionerer cosine-scores på normaliserede embeddings med BM25Okapi-scores via reciprocal-rank. Gør vægtning konfigurerbar, så I kan justere uden at pille resten af agenten fra hinanden:
# Eksempel: gør RRF justerbar
RRF_K = 60
ALPHA_VEC = 1.0
ALPHA_KW = 1.0
score = (ALPHA_VEC / (RRF_K + vec_rank)) + (ALPHA_KW / (RRF_K + kw_rank))
LLMProvider bag et interface gør failover og prompt-versionering muligt. Tutorialen versionerer ikke prompts. I drift bør prompts styres som kode med changelogs, ikke som fritekst i notebooks.
Tool.schema matcher moderne chat-API’ers funktionskald. Men uden policy-hooks ligger al dømmekraft hos LLM’en. Tilføj en autorisationsadapter, der tjekker parametre, risikoklasser og brugerens kontekst, før run() får lov:
def authorize_and_run(tool, params, user_ctx):
policy = TOOL_POLICIES[tool.name]
assert user_ctx.role in policy["allowed_roles"]
policy["validate_params"](params) # f.eks. sti-whitelist
if policy["risk"] == "write":
require_human_approval(params, user_ctx)
return tool.run(**params)
Implementeringsskitse for en pilot
Start småt. Ét snævert domæne med klare dokumenter og få værktøjer, for eksempel intern vidensbase og et kalender-tool. Byg en mini-pipeline der crawler eller ekstraherer ugentligt, embeder med “text-embedding-3-small” og opdaterer et versioneret vektorindeks og et separat BM25-korpus.
Definér et kontrolleret sæt værktøjer: læsende først, skrivende i sandkasse senere. Indfør gradual permission expansion: fra ingen skrivning, til begrænset skrivning med menneskelig godkendelse, til automatisk skrivning på lavrisiko-operationer.
Governance-checkliste: prompt-versionering, per-tool-policy og least-privilege-nøgler, token-rotation, auditerbare memory-writes, latens-SLO’er og prisvagter. Mål tre KPI’er fra dag ét: fejlrate pr. 100 forespørgsler, tid sparet pr. opgave og en faglig vurdering af beslutningskvalitet. Den sidste fanger skæve svar tidligt.
Ressourcer og tid: 8-12 uger for en PoC med tre roller er realistisk – en data engineer til pipeline og indeks, en applikationsudvikler til agent og tools, en halv sikkerhedsprofil til politikker, test og logs. Læg en bufferuge til, for noget vælter altid. Som når BM25-korpus sluger RAM, fordi man glemte at deduplikere.
Driftens praktiske konsekvenser
Integration: HybridMemory kræver løbende embeddings og periodisk BM25-reindeksering. Det koster storage og millisekunder. Brug warmup-caches til hot queries, baggrundsjob til indeksering og throttling, mens indekset rebuildes. Metadata med gyldighedsperioder dæmper støj.
Overvågning: Instrumentér agenten med spans for hver fase: embedding, BM25-score, fusion, prompt, værktøjskald, svar. Knyt alt til et korrelations-id. Når nogen spørger “hvorfor aflyste den mødet?”, skal I kunne replaye kæden på 30 sekunder.
Sikkerhed: Lav en kort tjekliste for tool-dispatch. Minimum: least privilege, sandboxing for skrivende værktøjer, token-rotation, egress-filtre og tests der simulerer confused-deputy. Et enkelt test-eksempel: læg en ondsindet streng i et dokument, der forsøger at få HTTP-klienten til at kalde en intern URL, og verificér at egress-regler blokerer kaldet og logger hændelsen.
Tradeoffs og begrænsninger
Arkitekturen fjerner ikke hallucinationer. Den mindsker fristelsen ved at servere bedre kontekst. Embeddings og lagring koster, især ved hyppig opdatering. BM25-korpus kræver vedligehold og bliver tungt uden kuratering. Latens stiger, når to retrieval-motorer kører. Robusthed koster millisekunder.
Sæt menneskelig overvågning på i starten. Ingen tutorial leverer jeres risikotolerance. Det skal defineres, testes og opdateres. Jeg går ikke ned i change-advisory her. Men I får brug for det.
Konklusion og handlingspunkter
Tutorialen leverer et klart skelet til en hybrid-memory agent med OpenAI: rene interfaces, konkrete modelvalg og en fornuftig retrieval-fusion. VentureBeat minder os om, at tool-dispatch uden grænser ender som et sikkerhedshul. Hvis vi skulle begynde i morgen: vælg et snævert scope, sæt en lille pipeline op, versionér jeres indeks, lås værktøjer ned med per-tool-politikker og mål de tre KPI’er fra dag ét. Man opdager først forskellen, når man sidder med det i hænderne.
