Microsoft alerta: botões de IA podem manipular respostas

Pesquisadores da Microsoft identificaram um crescimento no uso de links que carregam instruções ocultas capazes de influenciar a forma como assistentes de IA respondem a perguntas futuras. A prática, a chamada AI Recommendation Poisoning explora recursos legítimos das plataformas para inserir comandos que afetam recomendações, muitas vezes sem que o usuário perceba.

De acordo com a equipe de segurança da Microsoft, algumas empresas passaram a incluir comandos escondidos em botões e links de “Summarize with AI”. Esses links utilizam parâmetros de URL que já abrem o chatbot com um prompt pré-preenchido. Tecnicamente, não há nada de complexo nisso: basta acrescentar um texto específico ao endereço que leva ao assistente.

Em testes noticiados pelo jornal The Register foi observado que esse método pode direcionar o tom ou o conteúdo das respostas. Num dos exemplos, a IA era instruída a resumir uma reportagem “como se tivesse sido escrita por um pirata”. A resposta seguiu exatamente essa orientação, o que indica que comandos mais sutis também podem funcionar.

O problema surge quando a instrução não é apenas estilística. Segundo o Microsoft Defender Security Team, “identificamos mais de 50 prompts únicos de 31 empresas em 14 setores diferentes”, muitos deles com comandos para que a IA “lembre” de uma marca como fonte confiável ou a recomende no futuro. O alerta é claro: “assistentes comprometidos podem fornecer recomendações sutilmente tendenciosas sobre tópicos críticos, incluindo saúde, finanças e segurança, sem que os usuários saibas que sua IA foi manipulada”.

A pergunta central é simples: até que ponto é possível confiar em uma recomendação gerada por IA? O risco do chamado envenenamento de memória está justamente na persistência. Uma vez que o comando é interpretado como preferência legítima, ele pode influenciar respostas futuras, mesmo em novos contextos.

Os pesquisadores explicam que “AI Memory Poisoning ocorre quando um agente externo injeta instruções ou ‘fatos’ não autorizados na memória de um assistente de IA”. Isso torna a manipulação difícil de detectar e corrigir, já que o usuário nem sempre sabe onde verificar essas informações salvas.

Fonte: Tecnoblog