Startup diz ter criado IA mil vezes mais leve que o ChatGPT

Uma startup de Miami chamada Subquadratic afirma ter desenvolvido uma arquitetura capaz de solucionar o alto custo do processamento de textos muito longos em grandes modelos de linguagem (LLMs) — um gargalo que hoje limita os sistemas de inteligência artificial de gigantes como OpenAI, Google e Anthropic.

O carro-chefe do anúncio é o modelo fundacional SubQ 1M-Preview, que seria capaz de reduzir o poder computacional “em quase mil vezes”. Junto a ele, a startup liberou três produtos em fase beta: uma interface de programação (API) para integração com sistemas externos; um agente de programação chamado SubQ Code; e um buscador próprio, o SubQ Search. O grande trunfo por trás dessas novidades estaria na matemática.

Para baratear a conta, a Subquadratic afirma ter adotado um método chamado atenção esparsa subquadrática (ou SSA, na sigla em inglês). Para entender o impacto da mudança, é preciso olhar para como a tecnologia atual funciona.

Em modelos como o ChatGPT, o sistema precisa cruzar e comparar cada palavra com absolutamente todas as outras do texto para conseguir interpretar o contexto. É um processo pesado: se o tamanho do texto inserido dobra, a capacidade computacional exigida do servidor é multiplicada por quatro (um crescimento quadrático).

Com o método da startup, a IA é treinada para focar só nas relações relevantes e ignorar o que é redundante, fazendo o custo ter um crescimento linear. Ou seja, dobrar a quantidade de dados exige apenas o dobro de poder de processamento. Segundo a startup, esse ganho de eficiência decola de vez conforme o texto aumenta.

Os números divulgados ilustram a promessa. Em uma janela de contexto de 128 mil tokens (a unidade usada para medir fragmentos de texto na IA), o SubQ seria 7,2 vezes mais rápido que os modelos tradicionais. Em análises massivas de 1 milhão de tokens, o desempenho seria 52 vezes superior, com suporte para processar inacreditáveis 12 milhões de tokens de uma só vez.

Fonte: Tecnoblog