Mundo está “em perigo”, diz ex-líder de segurança da Anthropic

Em uma carta de demissão publicada na rede social X, um ex-pesquisador de segurança da Anthropic chamado Mrinank Sharma revelou sua preocupação com os rumos da indústria. Segundo ele, a companhia enfrenta dificuldades para manter os princípios éticos e “o mundo está em perigo”.

Sharma liderava a equipe de pesquisa de mitigação de riscos da Anthropic, dona da IA Claude, desde a criação do grupo no ano passado. Na carta, ele agradece a oportunidade de contribuir com a maior segurança das ferramentas, mas expõe sua frustração com a cultura corporativa do setor. “Vi repetidamente o quão difícil é realmente deixar nossos valores governarem nossas ações”, disse.

Com doutorado em aprendizado de máquina pela Universidade de Oxford, Sharma ingressou na Anthropic em agosto de 2023. Por lá, trabalhava com o desenvolvimento de defesas contra o bioterrorismo assistido por IA e pesquisas sobre “sicofancia” de IA, fenômeno em que chatbots concordam excessivamente ou elogiam o usuário para agradá-lo.

Embora o trabalho de Sharma fosse focado em tecnologia, ele enfatizou que o perigo ao qual se refere não vem apenas da inteligência artificial, mas de uma “série de crises interconectadas se desenrolando neste exato momento”.

“Parecemos estar nos aproximando de um limiar em que nossa sabedoria deve crescer na mesma medida que nossa capacidade de afetar o mundo, sob o risco de enfrentarmos as consequências”, escreveu Sharma.

Ele acrescenta que viu na organização os funcionários enfrentarem constantemente “pressões para deixar de lado o que mais importa”, e que essa realidade deixou claro para ele que “chegou a hora de seguir em frente”.

Fonte: Tecnoblog