Por que as empresas de IAs estão “devorando” livros impressos?

Modelos de IA atuais vêm recebendo uma fonte curiosa de informações: os livros impressos. Esse mercado tem sido alimentado pelo ISBNdb, site que diz ter a maior base de livros do mundo. A plataforma funciona como um reservatório digital das obras, com captação em pequenos e grandes fornecedores. Apesar de ser uma fonte importante para treinar IAs, há um receio quanto ao destino dessas unidades após a leitura das máquinas: muitos podem estar sendo “devorados”, ou pior, destruídos.

Segundo a ISBNdb, essa é a melhor forma de treinar os LLMs, uma vez que são materiais “limpos”, ou seja, sem o mal-falado AI Slop, conteúdo raso produzido com interferência de inteligências artificiais generativas. Ao utilizar dados mais recentes, a qualidade das informações levantadas pode cair, e a busca por livros impressos é uma forma de resolver o problema.

De acordo com o site 404 media, que noticiou o caso em primeira mão, as desenvolvedoras de IA têm preferência por livros lançados antes de 2022, ano em que modelos como ChatGPT e Claude começaram a se destacar no mercado. Além disso, é importante dizer que os LLMs têm como principais fontes de informações sites como Reddit e Wikipedia, com textos produzidos de forma independente pelos usuários.

O objetivo dessa procura por livros impressos é aumentar a qualidade dos dados utilizados pelos modelos de IA. Essa é uma forma de evitar o AI Slop, prática que tem sido bastante combatida atualmente na internet. Nesta semana, o LinkedIn começou a liberar um botão para denunciar conteúdos assim. Textos rasos produzidos inteiramente ou com alguma ajuda das inteligências artificiais são um problema para usuários de redes sociais e até empresas, com o chamado Workslop.

Os LLMs são capazes de criar diálogos mais humanos, o que requer uma boa base de interações reais. Por isso a importância de treinamentos a partir de redes sociais como o Reddit. Da mesma forma, a Wikipedia é uma plataforma com bastantes dados reunidos, o que também facilita o acesso a um grande volume de informações escritas de forma simples.

O desafio é conseguir esses livros impressos em larga escala. Para isso, a ISBNdb tem em seu catálogo dados de livrarias, pequenos vendedores e até títulos revendidos individualmente. Segundo a empresa, é possível coordenar compras com volume de até 1 milhão de unidades.

Fonte: Tecnoblog