Ex-chefe da Meta diz que benchmarks do Llama 4 foram manipulados

Yann LeCun, ex-chefe do departamento de inteligência artificial da Meta, confirmou que a empresa “manipulou um pouco” os testes de benchmarking do Llama 4. Segundo o executivo, os engenheiros usaram diferentes variantes do modelo em cada uma das provas para otimizar os resultados.

A declaração de LeCun, dada em uma entrevista ao Financial Times, retoma uma polêmica da época do lançamento do Llama 4, em abril de 2025. Poucos dias após o anúncio, especialistas observaram que os testes foram feitos com um modelo diferente do liberado para o público. Na ocasião, a Meta afirmou que usou diversas versões experimentais e que todas tiveram bons resultados.

A situação ficou mais feia quando usuários e desenvolvedores começaram a usar o Llama 4 e ficaram desapontados com o desempenho do modelo em condições reais.

LeCun relata que Mark Zuckerberg, CEO da Meta, não gostou da atitude e “basicamente perdeu a confiança em todos os envolvidos”. A resposta, nas palavras do ex-líder de IA, foi imediata, com a decisão de “jogar para escanteio” toda a organização de IA generativa. O cientista contou que “muitos já saíram, e muitos que ainda não saíram vão sair”.

A companhia, então, mudou sua estratégia: investiu US$ 15 bilhões na Scale AI e colocou Alexandr Wang, CEO da startup, para chefiar uma unidade de pesquisa em modelos de IA. Além disso, a empresa fez diversas contratações, atraindo cientistas de elite de concorrentes com bônus de até US$ 100 milhões.

LeCun passou a ser chefiado por Wang — e não gostou. Na entrevista para o FT, ele dispara: o novo líder “não tem experiência em pesquisa ou como fazer pesquisas”. O até então chefe de IA da Meta tem um currículo acadêmico de peso, incluindo um prêmio Turing por seu trabalho com redes neurais profundas.

Fonte: Tecnoblog