Auditoria usa IA, passa vergonha e devolve dinheiro de projeto

A gigante da consultoria Deloitte vai renunciar parte de um pagamento avaliado em AU$ 439.000 (pouco mais de R$ 1,5 milhão, na cotação atual). O motivo? A entrega de um relatório para o governo da Austrália com vários erros atribuídos ao uso de inteligência artificial, incluindo citações e referências falsas.

Em dezembro do ano passado, o Departamento de Emprego e Relações de Trabalho (DEWR) contratou a empresa para auditar e revisar um sistema que aplica penalidades automáticas a beneficiários de programas de emprego.

Segundo o jornal Financial Review, um relatório inicial foi publicado em julho deste ano, mas menos de um mês depois suas imprecisões foram expostas por um acadêmico da Universidade de Sydney, o Dr. Christopher Rudge.

O acadêmico levantou a hipótese de que os erros poderiam ser “alucinações” de IA — fenômeno no qual a tecnologia inventa informações para responder a consultas. Após a denúncia, a Deloitte iniciou uma investigação e publicou uma versão corrigida do relatório na última semana.

O texto revisado revela que parte da análise inicial “incluiu o uso de ferramentas de IA generativa (GPT-4o)”. O governo afirma que as recomendações do documento não foram alteradas, mas o incidente expôs os riscos do uso crescente, e por vezes não supervisionado, da IA em serviços técnicos.

O documento original continha mais de uma dúzia de referências e notas de rodapé incorretas. Entre as mais notáveis estavam citações a dois relatórios fictícios da professora Lisa Burton Crawford, da Universidade de Sydney, e outras duas referências a um trabalho inexistente do professor Björn Regnell, da Universidade de Lund, na Suécia. Além disso, o documento inventou uma citação sobre uma decisão do Tribunal Federal australiano e até errou a grafia do nome da juíza do caso.

Fonte: Tecnoblog