Robôs de IA mentem para ler as páginas na web e irritam desenvolvedores

Diversos desenvolvedores estão relatando o impacto dos robôs de IA em projetos de código aberto. Esses robôs estão sobrecarregando e desestabilizando os servidores de sites gits, nos quais desenvolvedores publicam códigos open-source e contribuem para projetos. Em alguns casos, devs estão bloqueando o acesso de alguns países aos seus servidores.

Xe Iaso, um dos desenvolvedores que publicou um relato sobre a situação, conta que os crawlers de IA (robôs que varrem a internet por dados para treinamento) da Amazon chegaram a derrubar seu servidor — praticamente como um ataque DDoS. Iaso explica ainda que a big tech desenvolve robôs mentirosos para driblar as restrições ao uso do conteúdo para treinamento de IA.

Entre as táticas aplicadas pela Amazon para burlar os bloqueios de sites estão usar IPs residenciais como proxies e mudar o agente (escondendo que a Amazon é a autora). Em seu blog, Iaso publicou um relato frustrante sobre como a big tech é incisiva e agressiva na sua “busca por conhecimento”.

Para tentar solucionar a queda do seu servidor git, Iaso o protegeu com uma VPN e criou um sistema de verificação batizado de Anubis. O Anubis é praticamente um captcha, no qual quem deseja acessar o conteúdo da biblioteca precisa resolver um problema.

Um estudo da LibreNews mostra que em torno de 97% do tráfego de alguns projetos de código aberto vem de robôs de IA. A “sede” das empresas de IA por treinar seus LLMs vem sobrecarregando os servidores devido ao enorme aumento de tráfego. Isso também eleva os custos de largura de banda dos servidores.

Outro projeto afetado pelo alto volume de tráfego foi o Fedora Pagure. Uma das medidas tomadas pela equipe para se proteger do “DDoS” de crawlers de IA foi bloquear todo o tráfego vindo do Brasil. O GitLab de infraestrutura da KDE foi derrubado por um alto volume de tráfego de robôs com IPs da Alibaba.

Fonte: Tecnoblog