Resumos feitos por IA estão ficando piores, mostra estudo

Investigação da BBC revelou que 51% dos resumos de notícias produzidos por IA continham erros relevantes.

O discurso das empresas de tecnologia costuma ser otimista: a inteligência artificial promete transformar o trabalho, acelerar descobertas científicas e facilitar o acesso à informação. No entanto, uma nova pesquisa coloca em xeque parte dessas promessas, especialmente quando se trata da capacidade dos modelos de IA em resumir textos de forma precisa.

Um estudo publicado na revista científica Royal Society analisou quase 5 mil resumos de pesquisas científicas feitos por dez chatbots amplamente utilizados — entre eles, ChatGPT-4o, ChatGPT-4.5, DeepSeek e LLaMA 3.3 70B. A conclusão foi de que até 73% desses resumos apresentaram imprecisões. Os erros incluíam omissão de informações importantes, generalizações excessivas e conclusões distorcidas em relação ao conteúdo original.

De forma surpreendente, o estudo revelou que quanto mais recente o modelo de IA, maior a taxa de erros. Isso contraria o discurso predominante de que os sistemas estão ficando cada vez mais inteligentes e confiáveis.

Os pesquisadores alertam que os chatbots tendem a omitir detalhes cruciais que limitam o escopo das conclusões científicas, levando o leitor a entender resultados de forma mais ampla — e equivocada — do que o estudo permite.

O problema se agrava à medida que esses modelos se tornam mais populares. O levantamento mostra, por exemplo, que a utilização dos modelos ChatGPT quase dobrou entre adolescentes dos Estados Unidos entre 2023 e 2025.

Fonte: Tecnoblog