Social Rocket
Os sites poderão, no futuro, indicar com uma regra comum `robots.txt` que os seus conteúdos não devem ser usados para treinar IA generativa. Anthropic, Google, Microsoft e OpenAI anunciaram 2026 no final de outubro apoio a uma proposta correspondente. Para editores, marcas com bases de conhecimento e operadores de sites editoriais, isto reduz bastante a manutenção até agora necessária de regras individuais para bots.
Um interruptor para vários fornecedores de IA
O rascunho técnico vem do especialista em normas da Anthropic, Kevin Kelley, e foi submetido à Internet Engineering Task Force a 30 de outubro 2026. Usa um nome especial de User-Agent no ficheiro `robots.txt` existente, sem introduzir novos comandos. Eis como é o exemplo do rascunho:
```txt User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
Com isto, um operador de site declara: os conteúdos não devem, em princípio, ser usados para treino de IA; o diretório `/press-kit/` fica excluído. A regra é uma preferência de utilização, não um bloqueio para todos os bots. O rastreamento por motores de pesquisa pode ser controlado à parte.
Até agora, os editores tinham de gerir regras próprias para sistemas diferentes. Um sinal comum cria uma predefinição central que os fornecedores participantes podem respeitar juntamente com os seus controlos específicos. A proposta é, de momento, um rascunho de Internet da IETF e ainda não uma norma aprovada.
Google, Microsoft e OpenAI não começam ao mesmo tempo
As empresas têm calendários diferentes:
- Anthropic afirma já ter começado a implementação.
- OpenAI anunciou em 30 de outubro que terá em conta o sinal nos próximos meses. As regras individuais de rastreadores existentes mantêm-se.
- Google planeia a implementação para 2027. Se não existir uma regra Google-Extended definida expressamente, o opt-out comum deverá ser tratado como uma proibição correspondente para Google-Extended.
- Microsoft indica 1 de fevereiro 2027 como data de início e acrescenta definições próprias para treino de IA e para a utilização de fontes em respostas atuais, o chamado grounding. A documentação do Bing explica o período de transição para os sinais `NoArchive` e `NoCache` mais antigos até 1 de março 2027.
Assim, a questão prática decisiva não é apenas que regra um site define, mas quando os fornecedores individuais a processam efetivamente. A Meta também apoiou publicamente uma solução comum, mas ainda não assumiu uma implementação concreta. Uma boa visão geral dos compromissos atuais é dada pelo Digiday.
Treino, respostas de IA e resultados de pesquisa são três coisas diferentes
O novo mecanismo diz respeito sobretudo ao treino de modelos futuros. Para as equipas de marketing, esta distinção é importante: quem recusa dados de treino não decide automaticamente sobre a visibilidade de uma página nos resultados de pesquisa nem sobre se ela é citada numa resposta.
A Microsoft pretende, por isso, tornar o treino e o grounding explicitamente controláveis de forma independente. A Google mantém os seus controlos Google-Extended existentes. A discussão separada sobre opt-out e dados de cliques nos Google AI Overviews diz respeito a outra parte do problema: a visibilidade dos conteúdos dos editores em produtos de pesquisa generativa.
Uma política clara de direitos pode até fazer parte da estratégia de distribuição. Algumas marcas querem manter conteúdos protegidos fora dos dados de treino e, ao mesmo tempo, disponibilizar conhecimento sobre produtos, documentação e comunicados de imprensa aos sistemas de pesquisa.
O que editores e empresas devem preparar agora
Quem opera uma plataforma de conteúdos maior pode, para já, documentar as regras `robots.txt` existentes, planear as novas preferências por tipo de conteúdo e manter-se atento às datas de implementação posteriores. No caso da Microsoft, os operadores que ainda utilizam `NoArchive` ou `NoCache` para fins de IA devem ter especial atenção.
Para a operação diária, continua a colocar-se a questão de saber que bots se identificam corretamente. A Srocket já reportou as exigências de rastreadores de IA mais facilmente identificáveis. A nova regra simplifica a comunicação com os serviços que cooperam; o controlo dos acessos reais continua a ser uma tarefa à parte.
Em segundo plano, prosseguem também as disputas sobre a utilização comercial de websites. Assim o mostram as cláusulas controversas dos rastreadores da Meta, que tornam cada vez mais importante a clareza de responsabilidades entre tecnologia, redação e direito.
O próximo passo é a padronização em vez de manter dezenas de bots: um operador de website pode formular a sua decisão de base uma única vez e depois definir exceções específicas. Se isso levará também a uma relação económica equilibrada entre editores e fornecedores de IA, decide-se na aplicação prática e nos modelos de licenciamento.
Imagem: Danial Igdery / Unsplash.