Én linje i robots.txt siger snart nej til AI-træning hos de store

MA Martin Mensbo Christiansen · 1. november 2026 · 10 min læsning

Fredag den 30. oktober 2026 blev OpenAI, Google, Microsoft og Anthropic enige om noget, de ellers sjældent er enige om. De vil respektere ét fælles signal i robots.txt, der lader en hjemmeside sige nej til, at dens indhold bruges til at træne generative AI-modeller. I stedet for at blokere GPTBot, Google-Extended og ClaudeBot hver for sig kan du fremover skrive én regel, der gælder hos dem alle.

Signalet hedder __usage_ai-training og er beskrevet i et nyt IETF-udkast. Det lyder som en teknikalitet, men det flytter en beslutning, de færreste virksomheder nogensinde har taget aktivt: Må modellerne træne på jeres produkttekster, guides og cases? Vi har læst udkastet og meldingerne fra de fire selskaber. Her er, hvad reglen gør, hvad den ikke gør, og hvad I bør beslutte, før I rører jeres robots.txt.

Hvad de fire selskaber har aftalt

Kernen er enkel. De fire selskaber vil læse den samme linje i din robots.txt og tolke den som dit svar på, om indholdet må bruges til AI-træning. Anthropic er allerede begyndt at implementere det, OpenAI melder, at det kommer i de kommende måneder, Microsoft sætter en dato, og Google sigter efter 2027. For en webansvarlig betyder det, at opt-out går fra at være en liste af crawler-navne, der skal vedligeholdes hver for sig, til at være ét valg.

Selve tokenet er defineret i et individuelt IETF-udkast med titlen Machine-Readable Training Preference Signal. Det er skrevet af Kevin Kelley fra Anthropic, dateret 30. oktober 2026 og udløber 3. maj 2027. Ordet individuelt er ikke tilfældigt. IETF skriver selv, at et individuelt udkast som dette ikke er godkendt af IETF og ikke har nogen formel status i IETF's standardiseringsproces. Udbyderne går altså foran standarden, ikke efter den.

Det ændrer ikke på, at de fire tilsammen står for en meget stor del af den AI-trafik, danske hjemmesider møder. Når OpenAI, Google og Microsoft bakker op om det samme token, bliver det i praksis den letteste måde at udtrykke et træningsvalg på, uanset hvad IETF formelt beslutter senere.

Sådan ser reglen ud

Mekanismen genbruger det robots.txt-format, du allerede kender. Der kommer ingen nye direktiver og ingen ny grammatik. Du skriver tokenet i en User-Agent-linje og følger op med almindelige Disallow- og Allow-linjer. Eksemplet fra udkastet ser sådan ud:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Det betyder nej til AI-træning på hele sitet, undtagen alt der ligger under /press-kit/. Du kan sætte reglen for hele domænet eller kun for bestemte stier, og den mest specifikke regel vinder, præcis som i en almindelig robots.txt.

To detaljer er vigtige. Tokenet har det usædvanlige dobbelte understreg-præfiks, fordi ingen crawler faktisk hedder __usage_ai-training. Præfikset gør det usandsynligt, at linjen ved et uheld matcher en rigtig bot. Og en eksisterende User-Agent: *-regel tæller ikke som et træningsvalg. Står der ingen __usage_ai-training-linje i filen, har du ikke udtrykt noget valg, og så er udgangspunktet, at indholdet gerne må bruges. For HubSpot-kunder er det en opgave, marketingteamet selv kan løse, for robots.txt redigeres i HubSpots indstillinger for websitet.

Træning og grounding er to forskellige valg

Her bliver det vigtigt at holde tungen lige i munden, for de fleste blander to ting sammen. Træning er, når dit indhold bruges til at ændre selve modellens lærte parametre. Udkastet definerer det netop som at bruge et aktiv til at ændre de lærte parametre i en generativ AI-model. Grounding er noget andet: det er, når en AI-tjeneste slår din side op for at underbygge et konkret svar, typisk med et link tilbage til dig.

Det fælles token handler kun om træning. Vil du styre grounding, skal du se på den enkelte udbyder. Microsoft bruger samme lejlighed til at indføre en separat, sidebaseret grounding-styring med tre valg: Allow, som er standard, Disallow, og et mellemtrin kaldet DisallowExtended. Ifølge Microsofts egen beskrivelse tillader DisallowExtended, at indholdet bruges i Microsofts egne oplevelser som AI Mode, AI Overview, Copilot og Microsoft 365, men ikke i de grounding-tjenester, Microsoft sælger til tredjeparter, som Web IQ og grounding-API'et i Foundry.

Google kobler de to ting sammen på sin egen måde. Hvis en side udtrykkeligt tillader Google-Extended, er den ifølge Google egnet til at optræde i svar og modtage klik via grounding i Gemini-apps. Pointen for dig er, at et nej til træning ikke behøver at være et nej til synlighed. Men du skal tage de to beslutninger hver for sig, for ingen af udbyderne gør det for dig.

Hvornår det virker, og de datoer du skal kende

Det vigtigste forbehold er, at intet af det virker endnu. Anthropic er som nævnt begyndt. OpenAI skriver, at selskabet sigter efter at implementere signalet i de kommende måneder og vil melde detaljer ud, når det sker. Googles egen melding lyder på 2027, og selskabets crawler-dokumentation taler om begyndelsen af 2027. Ingen af dem har givet en præcis dag.

Microsoft er den eneste med en hård dato. Fra 1. februar 2027 begynder selskabet at respektere de nye præferencer, når det crawler. Hvis du i dag bruger NoArchive eller NoCache over for Bing til at holde indhold ude, er der en overgang, du skal kende: Den 15. december 2026 åbner midlertidige grounding-valg i Bing Webmaster Tools for netop de sites. Vil du fortsat holde indhold ude af grounding, skal du før 1. marts 2027 både offentliggøre dit grounding-valg på siderne og registrere et midlertidigt valg i Bing Webmaster Tools. De midlertidige valg udløber 30. september 2027 eller når Microsoft genbesøger siden, alt efter hvad der kommer først. Gør du ingenting, er standarden Allow til både træning og grounding.

Så selv om nyheden er fælles, er tidslinjen det ikke. I praksis er 2027 det år, hvor valget begynder at få effekt, og indtil da er en linje i robots.txt en hensigtserklæring, ikke en håndhævet grænse.

Hvad signalet ikke gør

Det er lige så vigtigt at forstå grænserne som muligheden. Tokenet styrer brug, ikke adgang. Det er ikke en spærring mod crawling, og OpenAI beskriver det selv som en koordineringsmekanisme snarere end en sikkerhedskontrol. En crawler, der ikke følger robots.txt, kan ignorere det uden konsekvens. Robots.txt er en anmodning, og det har den altid været.

Det fjerner heller ikke noget, der allerede er indsamlet. En ændring i din robots.txt rører ikke ved indhold, der allerede er havnet i eksisterende datasæt eller trænede modeller. Og det giver hverken betaling eller licens. Microsoft skriver direkte, at valget hverken garanterer medtagelse, trafik eller betaling, og at det ikke etablerer licens- eller betalingsaftaler. Private aftaler, for eksempel en licensaftale, kan desuden gå forud for signalet.

Endelig er kredsen afgrænset. Kun de annoncerede selskaber er med. Meta optræder i udkastet som deltager i arbejdsgruppen, ikke som en part, der har lovet at respektere tokenet, og vi har ikke fundet bekræftelse fra Apple, Amazon, Perplexity, Mistral eller de kinesiske udbydere. Siger du nej via tokenet, siger du altså nej til de fire, ikke til hele feltet. Vælger du at slå grounding fra hos Microsoft, advarer selskabet samtidig om, at det giver mindre synlighed i AI-oplevelser. Det er en reel afvejning, ikke et gratis forbehold.

Hvad det betyder for AI Act og ophavsret

Her bliver det danske perspektiv konkret. EU's AI Act kræver, at udbydere af general-purpose AI-modeller respekterer ophavsretten i EU, herunder rettighedshaveres maskinlæsbare forbehold mod tekst- og datamining. Google kobler selv det nye forslag til EU's adfærdskodeks for den type udbydere, som anerkender robots.txt som en primær måde at udtrykke sådan et forbehold på.

Oversat til praksis: et forbehold i robots.txt er den konkrete måde, du udøver den ret på. Men signalet er ikke en lov, og det beskytter ikke mod udbydere, der vælger ikke at følge det. Spørgsmålet om, hvem der ejer det, en AI er trænet på, bliver ikke afgjort af en linje i en tekstfil, men linjen gør din holdning dokumenterbar. Vil du forstå, hvor grænserne i reglerne går, har vi samlet dem i vores guide til AI Act.

En ting løser tokenet ikke: persondata. Har I personoplysninger liggende på hjemmesiden, er det et GDPR-spørgsmål for sig, som et træningsvalg i robots.txt ikke rører ved. De to ting skal håndteres hver for sig.

Hvad det betyder for danske virksomheder

Næsten alle virksomheder har en hjemmeside med produkttekster, guides, cases og blogindlæg. De færreste har taget stilling til, om AI-modeller må træne på det. Det nye signal gør beslutningen let at håndhæve, men det flytter også ansvaret. Når der findes én enkel knap, bliver "det vidste vi ikke" en svagere undskyldning over for både ledelse og rettighedshavere.

Samtidig er det et strategisk valg, ikke et compliance-flueben. En virksomhed, der lever af at blive fundet, kan have en klar interesse i at være synlig i AI-svar, mens en virksomhed med betalt eller unikt fagindhold kan have en lige så klar interesse i at sige nej til træning, men ja til grounding. Det er samme logik som i vores artikel om synlighed, når ChatGPT vælger din konkurrent.

Det kan I gøre nu:

Tjek jeres nuværende robots.txt. Hvilke AI-crawlere blokerer I allerede, og var det en bevidst beslutning eller en rest fra en gammel opsætning? Vi gennemgik tidligere, hvordan Cloudflare lavede reglerne for AI-trafik om, og mange sites bærer stadig spor fra dengang.
Beslut en politik for træning og en for grounding hver for sig, og skriv dem ned. De to valg har forskellige konsekvenser for synlighed.
Er I HubSpot-kunder, kan robots.txt redigeres direkte i website-indstillingerne, så I ikke behøver udviklerhjælp.
Bruger I NoArchive eller NoCache over for Bing og vil holde indhold ude af grounding, skal I handle før 1. marts 2027.
Behold jeres eksisterende crawler-regler. Det nye token erstatter dem ikke, og det virker først i 2027.

Hvis I allerede arbejder med jeres synlighed over for sprogmodeller, hører denne beslutning til i samme gennemgang. Det er den samme fil og det samme team, der ejer begge dele.

Ofte stillede spørgsmål

Hvad er __usage_ai-training helt præcist?

Det er en linje, du skriver i din robots.txt, som siger ja eller nej til, at dit indhold bruges til at træne generative AI-modeller. Du skriver User-Agent: __usage_ai-training og følger op med Disallow: / for et nej til hele sitet, eller med stier for at styre det pr. mappe. OpenAI, Google, Microsoft og Anthropic har sagt, at de vil respektere den.

Betyder et nej til træning, at jeg forsvinder fra ChatGPT og Gemini?

Ikke nødvendigvis. Tokenet handler kun om træning, altså om at bygge dit indhold ind i modellerne. At blive citeret eller vist i et AI-svar hører under grounding, som styres separat. Hos Microsoft er grounding et særskilt sidevalg, og hos Google kan en side, der tillader Google-Extended, stadig optræde i og få klik via grounding i Gemini-apps. Du kan altså sige nej til træning og ja til synlighed.

Virker reglen allerede nu?

Endnu ikke. Anthropic er begyndt at implementere det, OpenAI sigter efter de kommende måneder, Google efter 2027, og Microsoft begynder at respektere valgene, når det crawler fra 1. februar 2027. Indtil da er en linje i robots.txt en hensigtserklæring, ikke en håndhævet grænse.

Kan jeg stole på, at alle AI-firmaer følger den?

Kun hvad angår de fire selskaber, der har meldt ud. Robots.txt er en anmodning, ikke en teknisk spærring, og crawlere, der ikke følger den, kan ignorere signalet. Meta optræder kun som deltager i IETF-arbejdsgruppen, ikke som en part, der har lovet at følge tokenet, og flere store udbydere har slet ikke meldt noget ud.

Hvad med data, de allerede har indsamlet?

Nej. Et valg i robots.txt gælder fremadrettet og fjerner ikke indhold, der allerede er indsamlet i eksisterende datasæt eller trænede modeller. Signalet giver heller ikke betaling eller licens. Vil du begrænse brug af indhold, der allerede er hentet, kræver det en privat aftale med den enkelte udbyder.

Det store ved den fælles regel er ikke teknikken, for den er med vilje kedelig. Det er, at de største AI-udbydere nu er enige om, at hjemmesider skal kunne svare på ét spørgsmål ét sted. Det gør det lettere at sige nej, men det gør det også sværere at lade være med at tage stilling. Når knappen findes, bliver tavshed i sig selv et valg. Beslut jer, mens 2027 stadig er et stykke væk, så I rører jeres robots.txt én gang med en plan i stedet for i hast, når den første af udbyderne slår signalet til.