Fundada em 2021 por ex-funcionários da OpenAI, a Anthropic se posiciona não apenas como uma de suas principais concorrentes, com os modelos Claude rivalizando diretamente com o ChatGPT, mas também como uma startup que valoriza o desenvolvimento responsável e seguro da inteligência artificial. No entanto, ela também lidera disparada o ranking de empresas de IA que mais raspam dados da web e enviam pouco tráfego de volta para os criadores de conteúdo.

Uma recente análise da Cloudflare revelou um ranking das empresas de IA com base em sua relação de crawl-to-refer — ou seja, a quantidade de dados que elas raspam da web em comparação ao tráfego de referência enviado aos sites originais. O levantamento coloca a Anthropic na liderança desse quesito.

Entre 1º e 7 de setembro, a empresa realizou 26.500 solicitações de rastreamento para cada tráfego de referência enviado aos sites. Em contraste, a OpenAI fez 739, a Perplexity 143, a Microsoft 36 e o Google apenas 5. Esses números refletem a atividade na web (excluindo aplicativos nativos) e foram noticiados pelo Business Insider.

Ou seja, os bots da Anthropic percorrem os sites de forma intensiva, mas com um retorno consideravelmente baixo de tráfego gerado de volta. Isso levanta questões éticas, especialmente quando se considera o impacto financeiro para os proprietários de sites, que precisam arcar, ainda, com o aumento de custos de tráfego devido à intensa atividade dos bots.

Esse comportamento, no entanto, não é novidade, já que reportagens anteriores do próprio Business Insider haviam apontado que o tráfego de bots de IA, principalmente os de Anthropic e OpenAI, estava gerando um aumento significativo nas despesas de computação em nuvem para diversos sites. Um desenvolvedor de web, por exemplo, relatou que os custos de seu cliente dobraram em poucos meses devido ao grande volume de raspagem de dados.

A Cloudflare, que monitora cerca de 20% dos sites globais, revela que a relação de "crawl-to-refer" da Anthropic é substancialmente mais alta do que a das demais empresas. Enquanto isso, empresas como o Google, frequentemente, não sem razão, associado à diminuição do tráfego orgânico enviado para veículos jornalísticos, mantêm um equilíbrio mais favorável de referências.

Nesse contexto, em julho, a Cloudflare lançou o marketplace “Pay per Crawl”, que oferece aos editores maior controle sobre seu conteúdo, permitindo que decidam se permitirão o acesso de bots ou programas automatizados de empresas de IA, com a possibilidade de serem remunerados por isso.

Resposta das empresas

Em resposta às críticas, a Anthropic disse ao Business Insider que os dados apresentados pela Cloudflare podem ter problemas metodológicos e destacou uma nova funcionalidade de busca que foi implementada em seu chatbot Claude, a qual, segundo a empresa, está gerando mais tráfego de referência para sites.

A OpenAI não respondeu aos pedidos de comentário, enquanto a Perplexity forneceu uma resposta detalhada, destacando a capacidade crescente dos bots em representarem as intenções dos usuários, como o desejo de acessar livremente o conhecimento na web.

Importante ressaltar a relação crawl-to-refer considera apenas a atividade na web, excluindo aplicativos nativos. Caso fossem incluídos, os índices poderiam ser ainda mais baixos. No caso do Google, sua relativamente baixa taxa se deve ao seu motor de busca tradicional, que ainda exibe links para sites, embora tenha incorporado respostas estilo chatbot (AI Overviews) ou buscas com o Modo IA.