O que você precisa saber
A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.
Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.
Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.
A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.
Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.
A Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet. Se uma ação é considerada suspeita, a chamada é bloqueada, a tarefa é encerrada e um humano é avisado.
Entre para comentar.