O que você precisa saber
Uma nova técnica de raciocínio que será utilizada pelo próximo modelo de inteligência artificial (IA) da OpenAI, chamado Astra, está preocupando especialistas em segurança de IA. O método, conhecido como “recurrent depth” ou “recorrência opaca”, permite que o modelo vá além do processo de pensamento sequencial característico da maioria dos modelos de raciocínio.
A preocupação está justamente no fato de que essa abordagem pode tornar o chamado chain of thought, ou cadeia de pensamento, mais difícil de monitorar. Para especialistas em segurança, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.
Segundo informações obtidas pelo The Information, o uso da técnica no Astra será limitado. Mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área.
Buck Shlegeris, CEO da Redwood, afirmou estar “extremamente preocupado” com os relatos sobre o uso da recorrência opaca no Astra.
“Não sei se o Astra é muito menos monitorável por CoT do que os modelos anteriores. Mas, se a OpenAI levar essa técnica adiante, terá a opção de aumentar enormemente a recorrência e destruir completamente a monitorabilidade por CoT”, escreveu o especialista.
Em condições normais, um modelo de raciocínio apresenta uma sequência de etapas enquanto tenta solucionar um problema. Embora essa representação não seja perfeita, ela pode funcionar como uma ferramenta importante para monitorar possíveis comportamentos inadequados ou sinais de desalinhamento.
Entre para comentar.