IA do Google inventa órgão humano que não existe

O Med-Gemini, modelo de inteligência artificial do Google voltado para a saúde, descreveu um problema nos “gânglios basilares” em um artigo científico. O termo, no entanto, se refere a um órgão que não existe — a IA simplesmente o inventou.

A equipe do Google não percebeu a alucinação durante todo o processo de revisão do estudo, que lista mais de 50 autores. O erro só foi notado posteriormente pelo neurologista e pesquisador Bryan Moore, que alertou a empresa sobre o ocorrido.

Lançado em 2024, o sistema é uma adaptação dos modelos Gemini com ajustes para interpretar exames de imagem, gerar relatórios clínicos, responder a perguntas de profissionais da saúde e lidar com informações mais complexas, como prontuários eletrônicos.

No texto, o Med-Gemini descrevia um infarto nos “gânglios basilares”, nome que mistura dois termos reais: a artéria basilar (que irriga o tronco cerebral) e os gânglios da base (ou basal ganglia), envolvidos no controle motor e em outras funções cerebrais.

A reação inicial da empresa foi discreta: primeiro, corrigiu o termo no post do blog. Apenas depois que Moore expôs a edição silenciosa publicamente é que o Google voltou atrás e adicionou uma nota, explicando que o modelo aprendeu a “transcrição incorreta” com os dados de treinamento. O artigo científico original, no entanto, continua com o erro até hoje.

Especialistas ouvidos pelo The Verge alertam que esse tipo de confusão pode representar um risco real em contextos clínicos. O próprio Google admite, na página de apresentação do serviço, que é preciso mais validação médica para os modelos serem aplicados amplamente em ambientes de atendimento.

Fonte: Tecnoblog