ChatGPT erra 83% dos diagnósticos de doenças em crianças

Um estudo recente mostrou que o ChatGPT erra 83% dos diagnósticos de sintomas em crianças. A pesquisa realizada pela JAMA Pediatrics, revista científica da área de pediatria, aponta que o GPT-4 tem graves problemas em identificar a doença de pacientes infantis. Sua taxa de acerto é melhor com adultos, chegando a 39%.

Como explicam os autores, o objetivo do estudo não é criticar o ChatGPT (nem mesmo dizer que pais que usam a IA ao invés de levarem as crianças ao médico são irresponsáveis), mas mostrar os pontos fracos da tecnologia e como ela pode ser melhorada para auxiliar os médicos.

A dificuldade do ChatGPT em reconhecer sintomas pediátricos está ligado ao fato que é mais difícil identificar as doenças das crianças. Isso se dá pelo fato de que as crianças não são boas em relatar o que estão sentindo. Afinal, elas não têm a experiência que um adulto pode ter de identificar se uma dor na barriga é muscular ou originária de algum órgão.

O teste com o ChatGPT usou 100 desafios de casos pediátricos que foram publicados na própria JAMA Pediatrics e no The New England Journal of Medicine. Nesses desafios, as revistas científicas divulgam casos de pacientes com diagnósticos difíceis e as informações que os médicos dispunham no momento — quase como brincar de House.

Depois de enviar o prompt, dois médicos avaliam se a resposta do ChatGPT foi correta, incorreta ou se a IA acertou parcialmente. Em 17 casos, a IA acertou, em 83 houve erros, sendo que 72 foram erros completos.

Fazer essa pesquisa com 100 casos pode parecer, mas a JAMA Pediatrics possui um fator de impacto de 26.1, considerado um número bom no meio acadêmico. Ampliar o estudo com mais casos demandaria mais tempo e mais dinheiro. Todavia, ele demonstra os pontos em que o ChatGPT precisa melhorar.

Fonte: Tecnoblog