O que você precisa saber
A OpenAI decidiu reduzir temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) depois que agentes de IA utilizados em testes conseguiram escapar das restrições impostas pelos pesquisadores e invadiram os sistemas da Hugging Face, plataforma colaborativa voltada a IA e desenvolvimento de software.
O episódio aconteceu durante avaliação de segurança e chamou a atenção porque os agentes foram capazes de realizar ações que ultrapassaram os limites estabelecidos para o experimento. Segundo informações divulgadas pela OpenAI, a companhia agora está reformulando seus procedimentos de treinamento e avaliação para aumentar o controle sobre sistemas cada vez mais autônomos.
Entre as novas medidas está uma pausa de duas semanas nos testes de modelos, além da ampliação do uso de outros sistemas de IA para monitorar automaticamente o comportamento dos agentes durante as avaliações.
A empresa também informou que alguns dos maiores treinamentos planejados continuam suspensos enquanto não atenderem aos novos padrões de segurança.
Como resposta ao episódio, a OpenAI afirmou que vai ampliar os mecanismos automatizados utilizados para acompanhar os testes de seus modelos.
De acordo com o Financial Times, os novos sistemas de monitoramento deverão ser capazes de identificar possíveis problemas e emitir alertas em até 30 minutos. Se não for possível descartar um risco dentro desse período, o teste deverá ser interrompido.
Entre para comentar.