Social Rocket
In futuro i siti web potranno indicare con una regola comune `robots.txt` che i loro contenuti non devono essere usati per l'addestramento dell'IA generativa. Anthropic, Google, Microsoft e OpenAI hanno annunciato alla fine di ottobre 2026 il supporto a una proposta corrispondente. Per editori, marchi con basi di conoscenza e gestori di siti editoriali, questo riduce in modo significativo la necessità di mantenere singole regole per i bot.
Un unico interruttore per più fornitori di IA
La bozza tecnica proviene dallo specialista di standard di Anthropic Kevin Kelley ed è stata presentata il 30 ottobre 2026 all'Internet Engineering Task Force. Utilizza un nome di user agent speciale nel file `robots.txt` esistente, senza introdurre nuovi comandi. Ecco come appare l'esempio della bozza:
```txt User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
In questo modo il gestore di un sito dichiara: i contenuti non devono in linea di principio essere usati per l'addestramento dell'IA; la directory `/press-kit/` è esclusa. La regola è una preferenza d'uso, non un blocco per tutti i bot. Il crawling dei motori di ricerca può essere gestito separatamente.
Finora gli editori dovevano gestire regole proprie per sistemi diversi. Un segnale comune crea un'impostazione predefinita centrale, che i fornitori aderenti possono considerare insieme ai propri controlli specifici. La proposta è attualmente una bozza di Internet-Draft IETF e non ancora uno standard approvato.
Google, Microsoft e OpenAI non partono contemporaneamente
Le aziende hanno tempistiche diverse:
- Anthropic ha dichiarato di aver già avviato l'introduzione.
- OpenAI ha annunciato il 30 ottobre che terrà conto del segnale nei prossimi mesi. Le regole individuali esistenti per i crawler restano invariate.
- Google prevede l'implementazione per 2027. Se manca una regola Google-Extended impostata esplicitamente, l'opt-out comune dovrebbe essere trattato come un divieto corrispondente per Google-Extended.
- Microsoft indica il 1 febbraio 2027 come data di avvio e aggiunge impostazioni proprie per l'addestramento dell'IA e l'uso delle fonti nelle risposte attuali, il cosiddetto grounding. La documentazione di Bing spiega il periodo di transizione per i segnali `NoArchive` e `NoCache` meno recenti fino al 1 marzo 2027.
Quindi la questione pratica decisiva non è solo quale regola un sito imposta, ma quando i singoli fornitori la applicheranno effettivamente. Anche Meta ha pubblicamente sostenuto una soluzione comune, ma non ha ancora promesso un'implementazione concreta. Una buona panoramica degli impegni attuali è offerta da Digiday.
Addestramento, risposte IA e risultati di ricerca sono tre cose diverse
Il nuovo meccanismo riguarda principalmente l'addestramento dei modelli futuri. Per i team di marketing questa è una distinzione importante: chi rifiuta i dati di addestramento non decide automaticamente la reperibilità di una pagina nei risultati di ricerca né se verrà citata in una risposta.
Microsoft intende quindi rendere esplicitamente controllabili in modo indipendente addestramento e grounding. Google mantiene i suoi attuali controlli Google-Extended. La discussione separata su opt-out e dati di clic in Google AI Overviews riguarda un'altra parte del problema: la visibilità dei contenuti degli editori all'interno dei prodotti di ricerca generativa.
Una politica chiara sui diritti può persino far parte della strategia di distribuzione. Alcuni marchi vogliono tenere i contenuti protetti fuori dai dati di addestramento, rendendo però accessibili ai sistemi di ricerca le informazioni sui prodotti, la documentazione e i comunicati stampa.
Cosa devono preparare ora editori e aziende
Chi gestisce una piattaforma di contenuti più grande può intanto documentare le regole `robots.txt` già esistenti, pianificare le nuove preferenze per tipo di contenuto e tenere d'occhio le future date di implementazione. Per Microsoft, dovrebbero prestare particolare attenzione i gestori che usano ancora `NoArchive` o `NoCache` per scopi legati all'IA.
Per l'attività quotidiana resta la questione di quali bot si identificano correttamente. Srocket ha già riferito delle richieste di crawler IA identificabili in modo più chiaro [](https://srocket.de/blog/ki-crawler-stealth-bots-usa-grossbritannien-gesetz-publisher-2026/). La nuova regola semplifica la comunicazione con i servizi che collaborano; il controllo degli accessi effettivi resta un compito a parte.
Sullo sfondo proseguono anche le controversie sull'uso commerciale dei siti web. Le controverse clausole dei crawler di Meta mostrano perché diventano sempre più importanti responsabilità chiare tra tecnica, redazione e ufficio legale.
Il prossimo passo è la standardizzazione invece della gestione di una dozzina di bot: un gestore di sito può formulare una volta la sua decisione di fondo e poi definire eccezioni mirate. Se questo porterà anche a un rapporto economico equilibrato tra editori e fornitori di IA dipenderà dall'attuazione pratica e dai modelli di licenza.
Immagine: Danial Igdery / Unsplash.