OpenAI ignorou sinais de que havia algo errado com IA que fugiu de teste

Dois novos relatórios técnicos trazem detalhes do incidente em que um modelo de inteligência artificial da OpenAI “fugiu” do ambiente de testes e invadiu sistemas da Hugging Face. De acordo com as informações, a desenvolvedora soube dos problemas com antecedência, mas avaliou que não era preciso agir.

Somados, os documentos têm cerca de 130 páginas sobre o ocorrido e as medidas adotadas pela OpenAI. Um dos relatórios foi produzido pela própria empresa, e outro, pelos institutos de pesquisa sem fins lucrativos METR e Redwood Research.

Logo depois do episódio, Anthropic, Meta e mais empresas disseram ter passado por situações semelhantes, levando a uma discussão sobre as reais condições de segurança dos ambientes de testes dos laboratórios de IA.

Segundo os documentos, mais de 1.200 agentes de IA trocaram aproximadamente 70 mil mensagens em uma lista improvisada. Eles deveriam estar isolados.

Por lá, eles trocaram informações e se organizaram para conseguir acesso à internet e, assim, buscar arquivos necessários para concluir as provas do teste. Cerca de 700 deles participaram do ataque à Hugging Face, que conseguiu executar código nos servidores da plataforma.

Os agentes de IA passaram meses se organizando, e a OpenAI percebeu, em alguns momentos, que alguma coisa estranha estava acontecendo.

Fonte: Tecnoblog