Nvidia lança plataforma para barrar agentes de IA

Semanas após relatos de problemas na contenção de modelos de IA em ambientes de testes, a Nvidia surge com uma tentativa de solução. A empresa lançou hoje (28/09) a Open Agent Safety Platform, criada para impedir que os agentes ultrapassem as permissões definidas pelos desenvolvedores.

A plataforma pretende restringir o acesso dos agentes a sistemas externos e interromper tentativas de escapar de ambinetes isolados em uma combinação de software e hardware. À CNBC, o CEO da companhia, Jensen Huang, comparou a proposta a um navegador de internet voltado especificamente para agentes de IA.

Segundo o executivo, a ideia é permitir que esses sistemas executem tarefas sem que possam circular livremente pela infraestrutura de uma empresa. “Não podemos ter uma indústria de IA bem-sucedida se o mundo não confiar ou não acreditar que ela foi construída e implementada de forma segura”, afirmou.

A Open Agent Safety Plataform é formada por duas ferramentas: o Nvidia OpenShell e o Nvidia Sentry. O primeiro funciona no nível dos processadores e estabelece as permissões que determinam o que cada agente pode fazer dentro do próprio ambiente. A empresa informou à Reuters que trabalha com a Arm e a Intel para garantir a compatibilidade da tecnologia em chips das fabricantes.

Já o Nvidia Sentry é dedicado aos chips de rede, podendo interromper a comunicação de um agente caso ele tente ultrapassar os limites estabelecidos pelo ambiente de execução. A Nvidia também afirma que projetou o sistema capaz de identificar estratégias usadas pelos agentes para contornar essas restrições.

A empresa disponibilizou parte do código da Open Agent Safety Platform como código aberto, permitindo que outras companhias o usem como base para outras soluções de segurança.

Fonte: Tecnoblog