IA de atendimento inventa política da empresa e confunde usuários

O cofundador do Cursor, Michael Truell, pediu desculpas publicamente nesta semana após um erro no suporte gerar confusão entre usuários. O motivo: um bug real no editor de código com inteligência artificial foi explicado por um bot de IA de suporte, que se baseou em uma política de uso totalmente invetada.

O caso começou com um relato no Reddit. Um usuário de nome BrokenToasterOven disse que estava sendo desconectado do Cursor ao alternar entre o PC, notebook e ambiente de desenvolvimento remoto — um fluxo de trabalho comum para quem programa em diferentes lugares.

Ao entrar em contato com o suporte, o desenvolvedor recebeu uma resposta por email que parecia oficial: segundo o agente Sam, o Cursor, agora, só funcionaria em um único dispositivo por assinatura, como parte de uma nova política de segurança.

O problema é que essa política não existia — e Sam era um bot. Atualmente, o Cursor oferece o plano Pro, que custa US$ 20 por mês, e o Business, de US$ 40 mensais, além de um plano gratuito com limitações.

Ainda assim, a resposta gerou confusão: após a publicação no Reddit, outros usuários entenderam que se tratava de uma mudança oficial de política da empresa e começaram a cancelar suas contas, incluindo o próprio autor do post.

Esse tipo de falha é a clássica alucinação da IA. Acontece quando modelos de linguagem geram respostas que parecem convincentes, mas não têm relação com a realidade. Em vez de admitir que não sabem, esses sistemas preenchem a lacuna com informações falsas, porém plausíveis.

Fonte: Tecnoblog