OpenAI quer usar IA para ajudar humanos que treinam IA

A OpenAI revelou um novo modelo de inteligência artificial chamado CriticGPT. Ele é baseado no GPT-4, mas com outra especialidade: encontrar erros em códigos gerados pelo ChatGPT. A ideia é que ele ajude humanos na tarefa de treinar modelos de IA.

Pode parecer estranho, mas a empresa explica: seus modelos são treinados usando uma técnica chamada aprendizado por reforço com feedback humano (ou RLHF, na sigla em inglês). Nesta técnica, humanos avaliam as respostas dadas por modelos de IA. A ideia é aperfeiçoar o modelo, para que os resultados sejam mais úteis em situações reais e mais próximos ao desejado por humanos.

Quando o ChatGPT gera um código, estes humanos, chamados treinadores de IA, revisam a resposta e apontam os erros, para que o modelo “aprenda” o que fazer. O problema é que humanos também podem errar e não perceber o que está incorreto em uma resposta.

O CriticGPT pode ajudar nisso. A ferramenta encontra erros nos códigos gerados pelo ChatGPT e escreve uma crítica (daí seu nome) explicando o problema.

Segundo a OpenAI, treinadores de IA preferiram as críticas feitas por outros treinadores com ajuda do CriticGPT em 60% dos casos, em comparação com críticas feitas apenas por humanos.

A empresa diz que a “parceria” resulta em avaliações mais compreensivas dos que as feitas apenas por humanos e em menos alucinações que as feitas só pela IA.

Fonte: Tecnoblog