Social Rocket
Websites kunnen straks met een gezamenlijke `robots.txt`-regel aangeven dat hun inhoud niet mag worden gebruikt om generatieve KI te trainen. Anthropic, Google, Microsoft en OpenAI kondigden eind oktober 2026 steun aan voor een overeenkomstig voorstel. Voor uitgevers, merken met kennisbanken en beheerders van redactionele websites betekent dat een duidelijke vermindering van het onderhoud van afzonderlijke botregels.
Eén schakelaar voor meerdere KI-aanbieders
Het technische concept komt van de Anthropic-standaardspecialist Kevin Kelley en werd op 30 oktober 2026 ingediend bij de Internet Engineering Task Force. Het gebruikt een speciale User-Agent-naam in het bestaande `robots.txt`-bestand, zonder nieuwe commando's in te voeren. Zo ziet een voorbeeld uit het concept eruit:
```txt User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
Daarmee geeft een websitebeheerder aan: inhoud mag in principe niet worden gebruikt voor KI-training; de map `/press-kit/` is uitgezonderd. De regel is een gebruikersvoorkeur, geen blokkade voor alle bots. Zoekmachine-crawling kan daarvan los worden gestuurd.
Tot nu toe moesten uitgevers voor verschillende systemen eigen regels beheren. Een gezamenlijk signaal biedt een centrale standaardinstelling, die deelnemende aanbieders naast hun eigen instellingen kunnen meenemen. Het voorstel is momenteel een IETF-internetdraft en nog geen vastgestelde standaard.
Google, Microsoft en OpenAI starten niet tegelijk
De bedrijven hanteren verschillende tijdschema's:
- Anthropic is volgens eigen opgave al begonnen met de invoering.
- OpenAI kondigde op 30 oktober aan het signaal de komende maanden mee te nemen. Bestaande individuele crawlerregels blijven behouden.
- Google plant de implementatie voor 2027. Ontbreekt een expliciet ingestelde Google-Extended-regel, dan moet de gezamenlijke opt-out worden behandeld als een overeenkomstig verbod voor Google-Extended.
- Microsoft noemt 1 februari 2027 als startdatum en voegt eigen instellingen toe voor KI-training en het gebruik van bronnen bij actuele antwoorden, de zogeheten grounding. De Bing-documentatie legt de overgangstermijn uit voor oudere `NoArchive`- en `NoCache`-signalen tot 1 maart 2027.
De beslissende praktische vraag is dus niet alleen welke regel een website instelt, maar ook wanneer afzonderlijke aanbieders die daadwerkelijk verwerken. Ook Meta heeft een gezamenlijke oplossing publiekelijk gesteund, maar nog geen concrete implementatie toegezegd. Een goed overzicht van de huidige toezeggingen biedt Digiday.
Training, KI-antwoorden en zoekresultaten zijn drie verschillende zaken
Het nieuwe mechanisme richt zich vooral op het trainen van toekomstige modellen. Voor marketingteams is dat een belangrijk onderscheid: wie trainingsdata weigert, beslist daarmee niet automatisch over de vindbaarheid van een pagina in zoekresultaten of over de vraag of ze in een antwoord wordt geciteerd.
Microsoft wil daarom training en grounding uitdrukkelijk onafhankelijk van elkaar instelbaar maken. Google behoudt zijn bestaande Google-Extended-instellingen. De afzonderlijke discussie over opt-out en klikdata bij Google AI Overviews gaat over een ander onderdeel van het probleem: de zichtbaarheid van uitgeversinhoud binnen generatieve zoekproducten.
Een duidelijk rechtenbeleid kan zelfs deel uitmaken van de distributiestrategie. Sommige merken willen beschermde inhoud uit trainingsdata houden en tegelijk productkennis, documentatie en persberichten toegankelijk laten voor zoeksystemen.
Wat uitgevers en bedrijven nu moeten voorbereiden
Wie een grotere contentplatform beheert, kan eerst de bestaande `robots.txt`-regels documenteren, de nieuwe voorkeuren per contenttype plannen en de latere implementatiedata in het oog houden. Bij Microsoft moeten vooral exploitanten opletten die nog `NoArchive` of `NoCache` voor AI-doeleinden gebruiken.
Voor de dagelijkse werking blijft de vraag welke bots zich correct identificeren. Srocket heeft al eerder bericht over eisen voor beter identificeerbare AI-crawlers. De nieuwe regel maakt de communicatie met meewerkende diensten eenvoudiger; het controleren van de daadwerkelijke toegang blijft een aparte taak.
Op de achtergrond lopen ook de discussies over commercieel gebruik van websites door. Zo laten de omstreden Meta-crawlerclausules zien waarom duidelijke verantwoordelijkheden tussen techniek, redactie en juridische zaken steeds belangrijker worden.
De volgende stap is standaardisatie in plaats van het onderhouden van tientallen bots: Een websitebeheerder kan zijn basisbeslissing één keer formuleren en daarna gericht uitzonderingen instellen. Of dit ook tot een evenwichtige economische relatie tussen uitgevers en AI-aanbieders leidt, hangt af van de praktische uitvoering en de licentiemodellen.
Afbeelding: Danial Igdery / Unsplash.