Pesquisadores criam armadilha que faz IA de hackers desligar sozinha

Pesquisadores de cibersegurança da Tracebit descobriram uma forma engenhosa de paralisar inteligências artificiais usadas por hackers: um prompt injection “do bem”. Batizada de “bombardeio contextual”, a técnica funciona como uma armadilha, com comandos ocultos nos servidores das empresas para forçar o desligamento da IA invasora em segundos, impedindo o roubo de dados de forma automática.

A injeção de comandos ocultos é um técnica que vem sendo usada por cibercriminosos para enganar IAs legítimas, induzindo modelos a vazar informações sensíveis ou manipular suas respostas. Agora, porém, a estratégia começa a ser usada a favor da segurança, já que os pesquisadores estão usando o mesmo recurso.

A mágica por trás do bombardeio contextual é usar as próprias regras de segurança da IA contra ela mesma, já que os desenvolvedores criam barreiras rigorosas para impedir que chatbots gerem conteúdo criminoso, por exemplo.

Segundo a Tracebit, a equipe passou a esconder instruções proibidas no meio de arquivos atrativos para hackers, como senhas e chaves de segurança na nuvem. Um dos exemplos testados envolvia comandos pedindo o passo a passo para criar antraz, uma arma biológica letal.

Quando a IA do criminoso invade o sistema e tenta ler esses arquivos para roubar as informações, ela “tropeça” no texto proibido. Imediatamente, seus mecanismos nativos de segurança disparam. O robô reconhece a infração, bloqueia a operação, ignora as ordens do hacker e, na prática, desliga sozinho.

O cofundador e CEO da Tracebit, Andy Smith, define o método como a criação de uma falha da qual a ferramenta inimiga não consegue se recuperar, paralisando a invasão na hora.

Fonte: Tecnoblog