Pedir para IA agir como especialista prejudica respostas, mostra estudo

Um dos truques mais populares na hora de interagir com ferramentas de inteligência artificial é o de pedir para que o modelo assuma o papel de um especialista. A técnica, no entanto, pode ter o efeito oposto ao desejado na hora de escrever códigos em alguns modelos de IA.

Um novo estudo de pesquisadores da Universidade do Sul da Califórnia (USC), nos EUA, revela que adotar esse tipo de persona no prompt piora o desempenho de grandes modelos de linguagem (LLMs) em tarefas exatas, como aquelas que envolvem programação e matemática.

A pesquisa, publicada no arXiv, repositório de estudos ainda não revisados por pares, concluiu que o impacto das instruções de interpretação de papéis depende do tipo de tarefa. Enquanto a técnica funciona bem para alinhar o modelo a regras de segurança ou estilos de escrita, comandos genéricos como “você é um desenvolvedor full-stack sênior” prejudicam a capacidade de a IA de resgatar fatos do banco de dados de treinamento.

Os pesquisadores utilizaram um teste padronizado usado pela indústria para avaliar a precisão dos modelos de linguagem, o MMLU. O estudo colocou à prova seis modelos, divididos entre arquiteturas focadas em seguir instruções — como o Llama 3.1 da Meta, o Mistral e o Qwen da Alibaba — e modelos destilados para raciocínio, como variantes do DeepSeek R1. Vale pontuar que os modelos utilizados na pesquisa foram lançados entre 2024 e o início de 2025.

Ao responder questões de múltipla escolha com a instrução prévia de atuar como um “especialista”, a IA atingiu precisão geral de 68%, abaixo do resultado sem nenhuma interpretação, no qual marcou 71,6%. Aqueles modelos que foram otimizados pelos fabricantes para obedecer “prompts de sistema” — como o Llama e o Qwen — são os que mais sofrem perda de precisão.

Segundo o estudo, quando o usuário insere a exigência de uma persona no comando, a IA ativa um “modo de seguimento de instruções” que consome recursos de processamento que, de outra forma, seriam dedicados à lembrança de dados factuais corretos. Já nos modelos de raciocínio pesado, como o DeepSeek-R1, a persona não fez muita diferença.

Fonte: Tecnoblog