Três ex-funcionários demitidos da OpenAI estão pressionando a empresa a preservar a capacidade de monitorar como sistemas de inteligência artificial (IA) cada vez mais avançados raciocinam. Em carta enviada ao conselho de administração e a comitês de segurança da companhia, eles também defenderam a participação de auditores externos no acompanhamento dos riscos da tecnologia.
Os pesquisadores Jasmine Wang, Tomek Korbak e Mikita Balesni trabalharam anteriormente em equipes de segurança e alinhamento da OpenAI. Segundo a carta, eles estão preocupados com a possibilidade de empresas de IA perderem a capacidade de monitorar a chamada chain-of-thought — o registro escrito do processo de raciocínio de um sistema de IA.
Embora pesquisadores reconheçam que esse registro não seja um indicador perfeito do comportamento ou das intenções de um modelo, ele é considerado uma ferramenta importante para compreender sistemas de IA cada vez mais sofisticados.
“Como indústria, ainda não sabemos desenvolver e implementar com segurança modelos que não podemos monitorar.” A carta também afirma que a OpenAI e outras empresas que desenvolvem modelos de fronteira não deveriam avançar com tecnologias que reduzam ainda mais essa capacidade de monitoramento.
Em resposta ao The Wall Street Journal, um porta-voz da OpenAI compartilhou parte de um memorando enviado na quarta-feira (7) por um líder de pesquisa aos funcionários. O documento afirma que a empresa concorda fortemente com as recomendações apresentadas na carta.
Segundo o memorando, a capacidade de monitorar os modelos de IA é “de extrema importância” para a OpenAI, e avaliadores independentes são parte importante do ecossistema de segurança.
Entre para comentar.