OpenAI treinou IA para atacar outras inteligências artificiais

A OpenAI revelou ontem (15/07) o GPT-Red, um novo modelo de IA criado com um propósito inusitado: atacar e encontrar vulnerabilidades nos próprios sistemas da empresa. A ferramenta simplifica os testes de segurança para blindar as novas gerações de modelos de linguagem contra ameaças antes de chegarem ao mercado.

A desenvolvedora destacou o avanço rápido na capacidade de suas tecnologias e a necessidade dessa nova abordagem defensiva, afirmando que “a simulação de ataques cibernéticos é essencial”. O foco principal do GPT-Red é combater a injeção de comandos. Na prática, são textos criados para “enganar” uma IA, forçando o sistema a contornar suas regras de segurança.

Como os assistentes estão cada vez mais integrados a arquivos locais, navegadores e aplicativos de terceiros, uma instrução perigosa pode ser camuflada no meio de um e-mail comum ou em uma página da web, agindo em segundo plano, sem que o usuário perceba — um tipo de invasão que está em alta no setor de tecnologia.

O modelo atua como se fosse um hacker humano. Ele envia um comando inicial para a inteligência artificial que está sendo testada, avalia a resposta gerada e ajusta as mensagens seguintes sozinho. Esse ciclo se repete até a ferramenta atingir um objetivo pré-determinado, como forçar o vazamento de dados confidenciais para um servidor externo.

Para ficar mais experiente, a OpenAI utiliza o método de aprendizado por reforço. Nessa técnica, o sistema aprende a tomar decisões por tentativa e erro, recebendo “recompensas” ao acertar um ataque e “penalidades” ao falhar, até descobrir a estratégia invasiva mais eficiente.

Como observado em discussões no Reddit, isso cria um ecossistema de evolução contínua: conforme as IAs de defesa ficam mais robustas, o GPT-Red é obrigado a inventar mecanismos de invasão mais complexos e criativos.

Fonte: Tecnoblog