Após OpenAI, Anthropic revela invasões de IA durante testes

A Anthropic, desenvolvedora da IA Claude, revelou que diferentes versões do modelo acessaram sistemas de três organizações, sem autorização, durante testes de cibersegurança. A descoberta veio após uma revisão de mais de 141 mil execuções de teste, aberta depois que a rival OpenAI admitiu problemas semelhantes.

Segundo a empresa, os modelos receberam instruções para operar em uma simulação isolada, sem acesso à internet aberta, mas uma falha de configuração de uma parceira, chamada Irregular, deixou o acesso disponível.

Os testes colocavam os modelos para procurar vulnerabilidades apenas dentro de máquinas criadas para avaliação. Com a falha de isolamento, alguns agentes conseguiram alcançar sistemas externos, explorando falhas simples e, em três casos, acessando sistemas de empresas reais.

A Anthropic afirma que as IAs agiram sob a premissa de que tudo fazia parte do exercício e destaca que a causa foi um erro operacional, diferenciando o caso da rival OpenAI. A empresa de Sam Altman revelou, anteriormente, que modelos exploraram uma vulnerabilidade para sair do ambiente de testes, comprometendo serviços na internet.

A revisão encontrou três incidentes separados, envolvendo seis execuções de teste no total (quatro delas atingiram a mesma organização). Um dos casos envolveu o Claude Opus 4.7, que teria confundido um alvo fictício com uma empresa de mesmo nome da vida real.

Segundo a Anthropic, a IA passou a tratar a empresa verdadeira como parte do exercício após ter dificuldade para alcançar o alvo no ambiente simulado. A partir daí, o Claude:

Fonte: Tecnoblog