Amazon promete investigar se Perplexity AI está burlando bloqueio de sites

A Amazon iniciou uma investigação para saber se a Perplexity AI está usando seus servidores para coletar conteúdo da web sem autorização. Há algumas semanas, Wired e Forbes acusaram a empresa de inteligência artificial de violar direitos autorais e plagiar matérias.

Segundo a Wired, um programa hospedado em um servidor da Amazon Web Services ignorou as instruções do Robots Exclusion Protocol e acessou textos publicados pela editora Condé Nast, da qual faz parte. A reportagem ainda afirma que The Guardian, Forbes e The New York Times detectaram atividades parecidas.

O Robots Exclusion Protocol é um padrão que contém uma série de instruções para permitir ou proibir o acesso automatizado às páginas. Elas devem ser armazenadas em um arquivo robots.txt no domínio do site. A própria Perplexity AI traz, em sua documentação, instruções de como usar este protocolo para rejeitar o robô da startup.

Apesar de usado desde os anos 1990 e respeitado por grandes empresas, o protocolo não bloqueia os robôs, apenas acrescenta uma sinalização para que eles leiam ou ignorem o conteúdo. Mesmo assim, a Amazon declarou à Wired que usuários de seus servidores são obrigados a seguir o que manda o arquivo robots.txt — a regra faz parte dos termos de serviço da empresa.

Sara Platnick, porta-voz da Perplexity, disse à Wired que a startup já respondeu às questões da AWS e negou que os robôs estejam desrespeitando os protocolos. Mesmo assim, ela afirma que, se o usuário especificar um endereço da web ao chatbot, o robô não levará em conta as instruções do arquivo robots.txt.

Aravind Srinivas, CEO da Perplexity, negou que a empresa ignore o protocolo de exclusão de robôs. O executivo alega que a empresa usa crawlers de terceiros além de seu próprio, e que o bot identificado pela Wired era um deles.

Fonte: Tecnoblog