Google erra uma em cada 10 respostas nos Resumos de IA, aponta estudo

Os Resumos de IA do Google falham em cerca de um a cada dez resultados. Em escala, isso pode representar dezenas de milhões de erros por hora, já que estamos falando de mais de cinco trilhões de buscas por ano.

É o que indica a análise da Oumi, startup focada no desenvolvimento e treinamento de modelos de IA, encomendada pelo The New York Times. O estudo usou o benchmark SimpleQA, comum no setor, e avaliou 4.326 buscas em dois momentos: outubro de 2024, com o Gemini 2, e fevereiro de 2025, após a atualização para o Gemini 3.

Os resultados comprovaram uma melhora de um modelo para o outro: com Gemini 2, os Resumos de IA acertavam 85% das vezes; com Gemini 3, esse índice subiu para 91%.

Entretanto, a evolução apresentou uma nova fragilidade. Em outubro, 37% das respostas corretas continham links de apoio que não sustentavam completamente a informação apresentada. Com o Gemini 3, essa proporção disparou para 56%.

Além disso, das 5.380 fontes analisadas, Facebook e Reddit figuram como a segunda e quarta fontes mais citadas. Quando os resumos estavam corretos, a rede social da Meta era citada em 5% dos casos; quando estavam errados, esse percentual subia para 7%.

O próprio Google publicou resultados internos semelhantes. Segundo o NYT, na análise da empresa, o Gemini 3 produziu informações incorretas 28% das vezes operando isoladamente.

Fonte: Tecnoblog