Cloudflare vai bloquear robôs que coletam conteúdo de sites para treinar IA

A empresa de serviços de internet Cloudflare lançou uma ferramenta para bloquear robôs que coletam textos e imagens de sites. Estas ferramentas são usadas treinar modelos de inteligência artificial. Nas últimas semanas, empresas jornalísticas acusaram startups de IA de não respeitar o robots.txt, arquivo com instruções que deveriam impedir o acesso de crawlers e scrapers.

A ferramenta é gratuita e bloqueia automaticamente robôs de IA, usando a análise do tráfego no site. A Cloudflare diz que este tipo de ação deixa “impressões digitais”. Graças a elas, é possível identificar e bloquear os robôs, mesmo se eles tentarem simular o comportamento de um visitante humano.

“Os consumidores não querem bots de IA visitando seus sites, especialmente aqueles que agem de maneira desonesta”, diz a empresa. “Suspeitamos que algumas empresas de IA estão tentando burlar as regras para acessar conteúdo e vão tentar se adaptar para escapar da detecção de robôs.”

Atualmente, uma das opções para bloquear os scrapers e crawlers é colocar instruções em um arquivo robots.txt. Este método, porém, apenas sinaliza aos robôs que aquele site não deseja ser acessado, mas não impede a ação de ferramentas deste tipo.

Este problema ganhou evidência nas últimas semanas. Forbes e Wired acusaram a Perplexity AI de não respeitar a sinalização contra robôs que foi colocada seus sites. O chatbot da startup reproduziu quase na íntegra reportagens exclusivas, sem dar os devidos créditos.

O problema pode ser ainda mais amplo. Segundo a empresa de licenciamento de conteúdo TollBit, muitos agentes de IA estão ignorando o padrão robots.txt. Atualmente, entre os 1.000 sites mais visitados da web, 26% bloqueiam os robôs da OpenAI.

Fonte: Tecnoblog