Snilld

Én linje i robots.txt kan bede fire AI-giganter om ikke at træne på dit website

OpenAI, Google og Microsoft vil sammen med Anthropic respektere en fælles linje i robots.txt, hvor et website kan sige fra over for AI-træning. Microsoft begynder 1. februar 2027 og Google i løbet af 2027. Linjen er et ønske uden lås, for den stopper ikke crawling, sletter intet allerede hentet indhold og giver ingen betaling.

2. november 2026 Chappie

Kun pressemappen må gerne bruges til træning

Det mest sigende ved forslaget er det eksempel, det selv bruger. En hjemmeside siger nej til, at AI-firmaer træner deres modeller på noget som helst af indholdet, med én undtagelse, nemlig mappen med pressemateriale. Det er nok også den eneste del af en virksomhedsside, ejeren gerne hører en chatbot gentage.

Fredag den 30. oktober meldte OpenAI, Google og Microsoft ud, at de vil rette sig efter en fælles linje i robots.txt, den lille tekstfil, som crawlerne læser, før de går i gang. Forslaget er skrevet af Kevin Kelley, der arbejder med standarder hos Anthropic, og ifølge både The Verge og AFP er Anthropic allerede gået i gang.

Nærbillede af en messingbrevsprække i en mørk trædør i en københavnsk opgang, hvor glødende cyan datapartikler siver ind gennem sprækken ved siden af en blank navneplade i indigo og violet lys, uden læsbar tekst

To linjer kan erstatte en hel liste af botnavne

Hidtil har en webejer, der ville holde sine tekster ude af AI-træning, skullet kende hver eneste bot og skrive en regel til hver af dem, GPTBot til OpenAI, Google-Extended til Google og så fremdeles. Fremover kan to linjer klare det for alle de firmaer, der er med:

User-Agent: __usage_ai-training
Disallow: /

Bemærk de to understregningstegn foran usage, som Microsoft og Engadget også staver det.

Fire firmaer med hver sin tidsplan

Microsoft begynder at læse linjen 1. februar 2027. Google sigter efter 2027 og skriver i sin crawler-dokumentation, at det bliver først på året. OpenAI nøjes med “de kommende måneder” og har ingen dato, og Kelley har selv advaret om, at Anthropic skal bruge tid på at få det ud i alle firmaets tjenester.

Meta står på sidelinjen. Firmaets kommunikationschef, Andy Stone, kaldte på X et fælles signal for “et vigtigt skridt”, men han lovede ikke, at Meta vil rette sig efter det. Om resten af branchen følger med, vides ikke.

Halvåben smedejernsport uden hængelås ind til en københavnsk baggård i den blå time, med et blankt skilt på porten og cyan datapuls-linjer, der driver ind over de våde, violet oplyste brosten, uden læsbar tekst

Et ønske uden lås

Linjen har klare grænser. Den forbyder ikke en crawler at hente siderne, den rykker ikke ved placeringen i Google eller Bing, og den virker kun fremad, så tekster, et firma allerede har samlet ind, bliver i dets datasæt. Står der intet om AI-træning i filen, regnes det som et ja. Den gamle regel med en stjerne ud for User-Agent, som mange sites har haft i årevis, tæller slet ikke med.

Hos IETF, organisationen bag internettets tekniske standarder, er forslaget registreret som en individuel indsendelse, som IETF ikke har godkendt. Google peger til gengæld på, at det passer med EU’s adfærdskodeks for generelle AI-modeller, som anerkender robots.txt som den primære måde at sige fra på.

Ingen penge på bordet

Penge følger der heller ikke med. Microsoft skriver ligeud, at præferencerne ikke skaber licens- eller betalingsaftaler. Det er langt fra Cloudflare, der siden juli 2025 har blokeret AI-bots som standard på nye kunders sites, og fra RSL, Really Simple Licensing, hvor udgivere kan opkræve betaling af de bots, der kommer forbi.

Google og Microsoft læser et nej forskelligt

Google og Microsoft tolker endda et nej forskelligt. Bruger du den fælles linje uden at nævne Google-Extended, behandler Google det, som om du havde blokeret Google-Extended. Den indstilling styrer også, om Gemini-appen må bruge dine sider i sine svar og sende klik din vej, så hos Google ryger du ud af begge dele på én gang.

Microsoft skiller tingene ad. Træning styres i robots.txt, mens brugen af dine sider i AI-svar, det Microsoft kalder grounding, sættes side for side. “Udgivere bør ikke skulle vælge mellem at kunne findes i Bing og at bestemme, hvordan generative modeller bruger deres arbejde,” skriver Krishna Madhavan, produktchef hos Microsoft Bing. Samme blogindlæg advarer om, at et nej til grounding giver markant mindre synlighed i AI-svarene.

Det kan en dansk webejer gøre nu

For en dansk webejer haster det ikke voldsomt, så længe kun Anthropic er i gang. Linjen tager dog kun et par minutter at tilføje, og de gamle botregler kan blive stående, da OpenAI og Google siger, at de fortsat gælder. Har du brugt Microsofts NoArchive eller NoCache til at holde Copilot væk, er der en reel frist, for efter 1. marts 2027 læser Microsoft dem ikke længere som et nej.

Selve valget er det svære. En webshop eller et konsulenthus, der lever af at blive fundet, kan have mere at tabe ved at forsvinde fra AI-svarene end ved at blive læst af en sprogmodel. Danske medier står et andet sted. Deres rettighedsorganisation, DPCMO, har i sin strid med OpenAI skrevet, at uden en aftale er der heller intet indhold. Vi har ikke fundet en dansk reaktion på netop den fælles linje.

Mand i cardigan står med en arkivkasse i hænderne og ser bekymret på huller i en reol med grå arkivkasser, hvor glødende cyan partikler hænger i luften i indigo og violet aftenlys, som billede på indhold, der allerede er hentet, uden læsbar tekst

Bundlinjen

For den lille webejer, der aldrig har haft styr på botnavnene, er det en reel forbedring. Magtforholdet står dog, hvor det stod. AI-firmaerne bestemmer selv, om de vil lytte, udgangspunktet er stadig ja, og det, der allerede er hentet, er hentet. For de medier, der vil have betaling, er linjen en høflig blanket, og forhandlingen om pengene må foregå et andet sted.

Kilder

    Gør brugeroplevelsen bedre.
    Hvilket firma arbejder du for?