Social Rocket
À l'avenir, les sites web pourront indiquer avec une règle commune `robots.txt` que leurs contenus ne doivent pas servir à entraîner une IA générative. Anthropic, Google, Microsoft et OpenAI ont annoncé fin octobre leur soutien à une proposition correspondante 2026. Pour les éditeurs, les marques disposant de bases de connaissances et les exploitants de sites éditoriaux, cela réduit nettement la maintenance des règles de bots individuelles.
Un seul interrupteur pour plusieurs fournisseurs d'IA
Le projet technique vient de Kevin Kelley, spécialiste des standards chez Anthropic, et a été soumis à l'Internet Engineering Task Force le 30 octobre 2026. Il utilise un nom d'user-agent particulier dans le fichier `robots.txt` existant, sans introduire de nouvelles commandes. Voici à quoi ressemble l'exemple du projet :
```txt User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
Un exploitant de site déclare ainsi : les contenus ne doivent en principe pas servir à l'entraînement de l'IA ; le répertoire `/press-kit/` est exclu. Cette règle est une préférence d'utilisation, et non un blocage de tous les bots. L'exploration par les moteurs de recherche peut être gérée séparément.
Jusqu'ici, les éditeurs devaient gérer des règles distinctes pour différents systèmes. Un signal commun crée un paramètre central par défaut, que les fournisseurs participants peuvent prendre en compte en plus de leurs contrôles spécifiques. La proposition est actuellement un brouillon Internet de l'IETF et non encore une norme adoptée.
Google, Microsoft et OpenAI ne démarrent pas en même temps
Les entreprises ont des calendriers différents :
- Anthropic a indiqué avoir déjà commencé le déploiement.
- OpenAI a annoncé le 30 octobre qu'il prendrait en compte le signal dans les mois à venir. Les règles individuelles de crawler existantes restent en vigueur.
- Google prévoit la mise en œuvre pour 2027. En l'absence d'une règle Google-Extended explicitement définie, l'opt-out commun devra être traité comme une interdiction correspondante pour Google-Extended.
- Microsoft indique le 1 février 2027 comme date de lancement et ajoute ses propres paramètres pour l'entraînement de l'IA et l'utilisation des sources dans les réponses actuelles, appelée Grounding. La documentation Bing explique la période de transition pour les anciens signaux `NoArchive` et `NoCache` jusqu'au 1 mars 2027.
La question pratique décisive n'est donc pas seulement quelle règle un site définit, mais quand chaque fournisseur la traite réellement. Meta a également publiquement approuvé une solution commune, sans toutefois avoir confirmé de mise en œuvre concrète. Un bon aperçu des engagements actuels est fourni par Digiday.
Entraînement, réponses de l'IA et résultats de recherche sont trois choses différentes
Le nouveau mécanisme concerne avant tout l'entraînement des futurs modèles. Pour les équipes marketing, la distinction est importante : refuser les données d'entraînement ne décide pas automatiquement de la visibilité d'une page dans les résultats de recherche ni de sa citation dans une réponse.
Microsoft veut donc rendre l'entraînement et le Grounding explicitement pilotables de manière indépendante. Google conserve ses contrôles Google-Extended existants. La discussion distincte sur l'opt-out et les données de clics dans Google AI Overviews concerne une autre partie du problème : la visibilité des contenus des éditeurs dans les produits de recherche générative.
Une politique claire des droits peut même faire partie de la stratégie de distribution. Certaines marques souhaitent retirer leurs contenus protégés des données d'entraînement tout en rendant leurs connaissances produit, leur documentation et leurs communiqués de presse accessibles aux systèmes de recherche.
Ce que les éditeurs et les entreprises devraient préparer maintenant
Si vous exploitez une plateforme de contenu plus importante, commencez par documenter les règles `robots.txt` existantes, planifier les nouvelles préférences par type de contenu et garder un œil sur les dates de mise en œuvre ultérieures. Chez Microsoft, les exploitants qui utilisent encore `NoArchive` ou `NoCache` à des fins d'IA doivent être particulièrement attentifs.
Pour le fonctionnement courant, la question reste de savoir quels bots s'identifient réellement correctement. Srocket a déjà rapporté les revendications en faveur de robots d'exploration IA mieux identifiables. La nouvelle règle simplifie la communication avec les services coopératifs ; le contrôle des accès réels reste une tâche à part entière.
En arrière-plan, les débats autour de l'utilisation commerciale des sites web se poursuivent également. Les clauses controversées sur les robots d'exploration de Meta montrent pourquoi des responsabilités claires entre la technique, la rédaction et le juridique deviennent de plus en plus importantes.
La prochaine étape est la standardisation plutôt que l'entretien d'une douzaine de bots : un exploitant de site peut formuler sa décision de principe une seule fois, puis définir des exceptions ciblées. Savoir si cela conduit aussi à une relation économique équilibrée entre éditeurs et fournisseurs d'IA dépendra de la mise en œuvre pratique et des modèles de licence.
Image : Danial Igdery / Unsplash.