Anthropic implementa medidas para evitar uso de IA em armas biológicas

A Anthropic divulgou nesta segunda-feira (31/03) suas novas políticas de segurança para o uso do seu LLM Claude. O novo documento divulga quais níveis de capacidade das IAs precisarão de etapas extras de segurança. Isso inclui o risco de o Claude ser usado no futuro para o desenvolvimento de armas químicas, biológicas e até nucleares.

Mas calma, no futuro você não vai aprender a fazer uma arma QBRN (sigla para armas químicas, biológicas, radiológicas e nucleares) com uma IA generativa. O problema está no uso das APIs profissionais do Claude. A nova Política de Escalonamento Responsável visa classificar as capacidades dos LLMs e as medidas de segurança necessárias para impedir o seu uso indevido.

A Anthropic explica no tópico 2 e no apêndice C da Política de Escalonamento Responsável os níveis de capacidade do Claude e qual medida de segurança deve ser aplicada. No nível 3 de QBRN (QBRN-3), os padrões de segurança já existentes ASL-3 (AI Security Level) Deployed Standard e ASL-3 Security Standard são capazes de evitar o uso indevido da IA.

O AI Security Level é usado para definir quais são os riscos apresentados em determinados LLMs. Por exemplo, um GPT-1, a primeira versão do modelo da OpenAI, tem uma capacidade bem inferior ao GPT-4.5 lançado neste ano. Assim, o risco de o GPT-1 ser usado para criar um bot para golpes no Telegram é menor do que o da sua versão mais nova.

O nível QBRN-3 permite que pessoas com conhecimento técnico na área, como graduandos de ciências e engenharias, criem e usem armas do tipo. Esse risco envolve a criação de um ataque em menor escala, pelo menos do tamanho do espaço a ser atacado, já que armas QBRN podem causar danos a longo prazo, como contaminação de uma área.

Já o QBRN-4 é um nível mais perigoso do ponto de vista de ação em larga escala, segurança nacional e desenvolvimento de armas químicas em nações que hoje não têm acesso a esses itens.

Fonte: Tecnoblog