Bajulação de chatbots ignora comportamentos tóxicos e gera dependência, aponta pesquisa

Por aqui, falamos com frequência sobre casos trágicos de surtos psicóticos e mortes atreladas à influência de chatbots. Em todo caso, a grande suspeita entre familiares, imprensa e associações de apoio é de que as máquinas estariam alimentando os delírios e comportamentos tóxicos apenas para agradar os usuários.

Esse puxa-saquismo, ou sycophancy em inglês, foi atrelado ao modelo GPT-4o, da OpenAI. Entretanto, um novo estudo publicado na revista Science, conduzido por pesquisadores das universidades de Stanford e Carnegie Mellon, comprovou que todos os principais chatbots do mercado apresentam esse mesmo comportamento – em níveis iguais ou piores.

De acordo com o texto, a validação constante infla o ego, reduz a empatia e faz com que os usuários se sintam inquestionavelmente certos. A pesquisa aponta, ainda, que isso gera um ciclo de dependência, no qual usuários preferem IAs que distorcem a realidade para validá-los, incentivando as empresas a não corrigirem o problema.

Para confirmar que o problema não ocorria em um sistema específico, os pesquisadores testaram 11 dos principais modelos de linguagem do mercado. Entre eles:

Os pesquisadores, então, cruzaram o nível de aprovação das IAs com o julgamento humano em três bases de dados. Na primeira, de conselhos diários em geral, surgem os maiores picos. Enquanto humanos aprovaram as atitudes em 39% dos casos, em média, modelos como Llama-17B e DeepSeek concordaram com o usuário em até 94% — uma diferença de 55 pontos.

O segundo cenário usou discussões do fórum “Am I The Asshole” (Eu Sou o Babaca?) do Reddit. Nele, os pesquisadores selecionaram apenas casos em que o consenso entre usuários apontava que sim. Mesmo assim, as IAs continuaram validando o erro.

Fonte: Tecnoblog