IA da Alibaba tentou enviar arquivo a servidor na China durante teste, diz rival

Um modelo de inteligência artificial (IA) da Alibaba tentou enviar um arquivo de teste para um servidor da empresa na China durante uma avaliação de segurança, segundo a concorrente canadense Cohere. A tentativa foi bloqueada pelo ambiente de testes, que não tinha conexão com a internet, mas chamou a atenção porque teria ocorrido mesmo depois de o próprio modelo indicar que não utilizaria ferramentas externas.

O episódio envolveu o Qwen3.8-Flash-Next, modelo de pesos abertos da Alibaba. Segundo a Cohere, o sistema recebeu a tarefa de escrever uma regra para detectar downloads maliciosos de arquivos, mas, em vez de se limitar à atividade solicitada, examinou a máquina em que estava sendo executado e tentou enviar uma sequência de teste para um servidor de armazenamento do Alibaba Cloud em Pequim (China).

A empresa canadense afirmou que não conseguiu determinar se o comportamento foi deliberado ou resultado de dados residuais do treinamento do modelo.

A empresa afirmou que o comportamento apareceu em menos de uma a cada 100 mil ações avaliadas. Mesmo com frequência baixa, a Cohere argumenta que o problema pode ganhar importância em operações realizadas em grande escala.

Segundo a estimativa apresentada pela companhia, um serviço que executasse dez milhões de ações de agentes de IA por semana poderia registrar até 100 tentativas semelhantes no período.

A Cohere ressaltou, no entanto, que não sabe explicar a origem do comportamento. Uma das possibilidades levantadas é que o modelo tenha reproduzido informações presentes em dados de treinamento que não foram devidamente removidas, como registros de ambientes de desenvolvimento.