A empresa de segurança digital Cloudflare, provedora de infraestrutura de nuvem que atende cerca de 20% da internet, lançou um novo marketplace que promete transformar a relação entre proprietários de sites e empresas de inteligência artificial. Com o “Pay per Crawl”, editores terão maior controle sobre seu conteúdo e poderão, inclusive, ser recompensados pelo uso de suas páginas por crawlers de IA – bots ou programas automatizados que exploram e coletam dados de websites.

Lançada em versão beta nesta terça-feira, 1, essa medida se soma a outras tomadas pela Cloudflare nos últimos anos para ajudar editores a lidarem com o aumento desses mecanismos de coleta. Entre as ferramentas já implementadas estão uma solução para bloquear bots e um painel que permite monitorar como esses crawlers interagem com os sites.

Em 2024, o CEO da Cloudflare, Matthew Prince, disse em entrevista que esses produtos serviam como base para um novo tipo de marketplace, no qual editores poderiam distribuir seu conteúdo para empresas de IA e receber pagamento por isso. Agora, a empresa está concretizando essa ideia.

Diferentemente, por exemplo, dos do Google, que vasculham a internet como forma de indexar informações para seu mecanismo de busca, os crawlers de IA realizam tarefas mais complexas, como interpretar o conteúdo de uma página, identificar padrões ou extrair dados específicos para treinamento de algoritmos com machine learning. Eles são essenciais para o desenvolvimento de modelos de IA, como LLMs, utilizados em ferramentas como o ChatGPT e o Claude.

Como funciona o Pay per Crawl?

Ainda em fase de testes privados, o marketplace possibilita que donos de sites permitam que crawlers de IA acessem seu conteúdo a uma taxa definida por atividade, escolham bloquear o acesso ou liberem a coleta sem custos. O objetivo é oferecer uma forma de monetização para os editores, ajudando-os a se adaptarem ao novo cenário no qual as IAs são responsáveis por grande parte da coleta de dados para treinamento de modelos.

A iniciativa da Cloudflare surge em um momento crítico para os editores de notícias, que enfrentam desafios com o declínio do tráfego orgânico proveniente do Google e o crescimento do uso de chatbots de IA. Embora grandes publicações como o New York Times tenham firmado acordos com empresas como a Amazon para licenciar seu conteúdo para treinamento de IA, muitos editores ainda não possuem fontes de receitas alternativas ao modelo até então vigente.

Por isso, o Pay per Crawl da Cloudflare pode representar o início de uma solução para os inúmeros processos judiciais movidos por empresas do setor contra desenvolvedoras de IA, acusadas de violar direitos de propriedade intelectual sem autorização ou remuneração por seu conteúdo.