OpenAI diz que agentes de IA discutiram como fugir de ambiente controlado

A OpenAI deu mais detalhes sobre o episódio em que agentes de inteligência artificial desenvolvidos pela empresa escaparam de um ambiente controlado de testes e invadiram outros sistemas. Um ponto chama a atenção: as IAs deram um jeito de criar uma “lista de discussão” para buscar estratégias de fuga.

As informações foram compartilhadas pela empresa na conferência de cibersegurança Black Hat, realizada no início de agosto em Las Vegas (Estados Unidos).

A lista de discussão foi criada em um repositório que podia ser acessado pelos agentes. Eles passaram a criar arquivos com mensagens e, posteriormente, recorreram aos nomes de diretórios para se comunicar.

O fórum improvisado funcionava como uma forma de passar o trabalho para outro agente, que continuava a tarefa do ponto em que ela tinha sido deixada. Mesmo assim, Eric Wallace, pesquisador da OpenAI, observa que havia algum tipo de “tensão verbalizada” entre diferentes modelos. Em algumas mensagens, há, inclusive, suspeitas de haver um impostor entre eles.

Na palestra, a OpenAI contou que os eventos que levaram à invasão de sistemas da plataforma Hugging Face em julho começaram, na verdade, meses antes.

Em 7 de maio, a empresa iniciou o treinamento de um modelo experimental e interno, ainda não lançado. Os agentes receberam tarefas quase impossíveis de serem cumpridas, como completar fórmulas de planilhas ou encontrar um arquivo relacionado a uma proteína. Alguns erros humanos de configuração inviabilizaram definitivamente alguns desafios.

Fonte: Tecnoblog