Capacidade de raciocínio da IA é “miragem”, dizem pesquisadores

Um artigo escrito por pesquisadores da Universidade do Estado do Arizona, nos Estados Unidos, sugere que a capacidade de raciocínio de modelos de linguagem em larga escala (LLMs) é apenas uma “frágil miragem”, incapaz de resolver problemas lógicos que não fizeram parte de seu treinamento.

Nos últimos anos, ChatGPT, Gemini e outros assistentes com inteligência artificial passaram a contar com capacidades de “raciocínio simulado”, criando uma “cadeia de pensamentos” para destrinchar prompts em uma sequência de passos lógicos, que são apresentados ao usuário. No entanto, este método parece ter limitações.

O trabalho dos cientistas ainda não foi revisado por pares e está disponível na plataforma Arxiv. Para avaliar a capacidade de raciocínio de um LLM, os pesquisadores criaram um ambiente de treinamento de IA com transformações simples de texto, como trocar letras de palavras para cifrá-las.

Logo em seguida, o LLM teve que realizar diversas tarefas. Algumas eram muito parecidas com as vistas no treinamento, enquanto outras precisavam combinar várias transformações para formar uma operação nova.

Nos resultados, os modelos começaram a falhar quando precisaram lidar com novas transformações. Por exemplo: um modelo treinado com testes de “deslocar” letras (como trocar todas as letras pela seguinte no alfabeto) não sabia realizar tarefas que envolviam embaralhar a ordem das letras na própria palavra. Além disso, se o modelo tinha sido treinado com palavras de quatro letras, ele tinha dificuldades para resolver problemas com palavras de três ou cinco letras.

A IA até tentava generalizar regras lógicas com base em padrões observados durante o treinamento e criava linhas de raciocínio corretas, mas errava as respostas. O oposto também acontecia, mas com menos frequência: em alguns casos, o modelo chegava a uma resposta certa, mas usando encadeamentos incoerentes. Por fim, quanto maior o prompt e o número de passos necessário para chegar à resposta correta, pior era o desempenho do modelo.

Fonte: Tecnoblog