Anthropic, OpenAI, Google, Microsoft e Meta apoiam a adoção de um padrão único no arquivo robots.txt para que sites e veículos de comunicação indiquem, de forma padronizada, se autorizam o uso de seus conteúdos no treinamento de modelos de inteligência artificial.
A proposta foi apresentada pelo engenheiro Kevin Kelley, da Anthropic, no âmbito da IETF, grupo responsável pela discussão e definição de padrões técnicos para a infraestrutura da internet. O robots.txt já é utilizado há anos para orientar robôs sobre quais páginas podem ou não ser acessadas em um site.
Na prática, em vez de criar regras específicas para cada empresa de tecnologia, os administradores poderão incluir uma única instrução válida para os grandes desenvolvedores de IA que aderirem à especificação. Dessa forma, veículos de comunicação e outros produtores de conteúdo poderão comunicar a mesma preferência a diferentes empresas, sem precisar estabelecer uma regra separada para cada uma.
A Anthropic afirma que já oferece suporte ao novo padrão em seus sistemas. A OpenAI informou que pretende adotar o mecanismo nos próximos meses. Google e Microsoft disseram que a implementação está prevista para 2027. A Meta declarou apoio à iniciativa, mas ainda não definiu uma data para começar a respeitar o sinal em seus processos de coleta de dados.
A discussão ocorre em meio à preocupação crescente de veículos jornalísticos e outros produtores de conteúdo com o uso de textos, imagens e vídeos no treinamento de sistemas de IA generativa, muitas vezes sem autorização explícita ou compensação financeira.
Atualmente, cada empresa de inteligência artificial costuma operar com seus próprios rastreadores, que percorrem páginas públicas para alimentar bancos de dados. Para restringir esse acesso, os administradores precisam identificar os robôs de cada companhia e criar regras específicas no robots.txt, em um processo trabalhoso e sujeito a falhas.
Com o novo padrão, a sinalização poderá ser unificada. Em tese, uma mesma instrução será válida para todos os grandes modelos que adotarem a especificação. A expectativa é reduzir o esforço operacional dos sites e oferecer mais clareza sobre quais conteúdos podem ou não ser utilizados no treinamento de sistemas de IA.
Para redações e portais de notícias, o sinal comum pode simplificar a proteção de reportagens, análises e outros materiais autorais. Em vez de acompanhar mudanças constantes nos robôs de cada empresa, os responsáveis pelos sites poderão ajustar uma regra central, válida para todo o ecossistema que aderir ao padrão.
Para as empresas de IA, a adesão exigirá mudanças nos fluxos de coleta de dados e nos sistemas de indexação, a fim de garantir que o comando seja respeitado. Essa alteração pode reduzir o volume de material disponível para o treinamento de modelos, especialmente se grandes grupos de mídia optarem por bloquear o uso de seus arquivos.
Especialistas avaliam que a medida pode contribuir para uma reorganização do mercado de dados para inteligência artificial, aumentando a importância de conteúdos licenciados diretamente e reduzindo a dependência de varreduras amplas da internet. O padrão também é visto como uma iniciativa de autorregulação do setor de tecnologia, em um cenário de pressões regulatórias em diferentes países.
Apesar do avanço técnico, o mecanismo não representa uma barreira absoluta contra a coleta indevida. Sua eficácia dependerá de as empresas respeitarem o sinal. Portanto, trata-se de uma regra de boa conduta, e não de um bloqueio criptográfico capaz de impedir tecnicamente o acesso aos conteúdos.
Veículos de comunicação e associações ligadas à indústria jornalística devem acompanhar a implementação e cobrar transparência sobre a configuração dos rastreadores e sobre quais conteúdos são efetivamente incluídos nos conjuntos de treinamento. Em caso de descumprimento, a discussão poderá chegar a tribunais e órgãos reguladores, com base em normas de direitos autorais e proteção de dados.
Além da adesão anunciada por Anthropic, OpenAI, Google e Microsoft e do apoio manifestado pela Meta, a expectativa é que outras empresas de IA e grandes plataformas adotem a iniciativa. Caso isso ocorra, o padrão poderá se consolidar como referência para a relação entre produtores de conteúdo e desenvolvedores de modelos na próxima geração de sistemas de inteligência artificial.
Fonte: Miraí Broadcast