Cybercode
Julia Monteiro
Julia Monteiro
Inteligencia Artificial · · 2 min de leitura ·

DeepSeek: ‘Molho secreto’ da IA chinesa é revelado por pesquisadores da Apple

DeepSeek: 'Molho secreto' da IA chinesa é revelado por pesquisadores da Apple

O que você precisa saber

O DeepSeek pegou usuários e mercado de inteligência artificial (IA) de surpresa nesta semana. O que surpreende na IA chinesa é uma combinação de fatores. Primeiro, ela aparentemente ser tão boa quanto seus rivais estadunidenses (ChatGPT, por exemplo). Segundo, seu desenvolvimento ter sido mais barato em comparação a modelos de IA dos EUA. Mas como isso é possível? Pesquisadores da Apple explicam.

Vale explicar: a Apple não tem ligação com a DeepSeek. A big tech toca suas próprias pesquisas de IA regularmente. Por isso, fica de olho em trabalhos de empresas tanto dos EUA quanto de fora do país – como a startup de IA chinesa.

O relatório no qual os pesquisadores explicam o “molho secreto” do DeepSeek, intitulado “Parâmetros vs FLOPs: Leis de Escala para a Esparsidade Ótima para Modelos de Linguagem Mistos de Especialistas“, foi publicado na semana passada – antes do “boom”, veja você – no servidor de pré-impressão arXiv. De tudo que você acabou de ler neste parágrafo, guarde apenas este termo: esparsidade.

O termo “esparsidade” pode parecer estranho, mas existe (confira exemplos aqui e aqui). É um fenômeno explorado por uma abordagem ampla dentro da aprendizagem profunda (deep learning). O objetivo é simples: extrair mais dos chips de computador.

Justamente por integrar uma abordagem ampla, a esparsidade se apresenta de várias formas. Às vezes, envolve eliminar partes dos dados usados pela IA quando eles não afetam materialmente o resultado do modelo. Outras vezes, envolve cortar partes de uma rede neural, se isso não afetar o resultado final.

A DeepSeek fez o segundo no desenvolvimento do DeepSeek R1, “motor” do chatbot que ficou popular nesta semana. O autor principal do artigo em questão, Samir Abnar, da Apple, e outros pesquisadores da big tech estudaram como o desempenho variava à medida que exploravam a esparsidade desligando partes da rede neural. Harshay Shah, do MIT, também colaborou.

Publicidade