OpenAI revela seu primeiro chip de IA: o Jalapeño

A OpenAI e a gigante de semicondutores Broadcom anunciaram, nesta quarta-feira (24/06), o lançamento do Jalapeño, o primeiro processador de inteligência artificial desenhado do zero pela dona do ChatGPT.

Segundo o comunicado, ele é focado na fase de inferência de Grandes Modelos de Linguagem (LLMs) e promete derrubar os custos da companhia, aumentando a velocidade de resposta do chatbot.

Para entender o peso da novidade, basta entender o que é inferência: trata-se, basicamente, do momento em que a IA “trabalha” para responder em tempo real toda vez que você envia um prompt. O Jalapeño foi construído para otimizar essa etapa.

O impacto principal deve ser sentido na fluidez da interação e no custo para manter plataformas como o próprio ChatGPT e o Codex funcionando. Na prática, a arquitetura do chip une o poder de processamento bruto a uma latência extremamente baixa. Isso significa respostas geradas de forma quase instantânea na tela do seu celular ou computador.

Amostras de engenharia do Jalapeño já estão em operação nos laboratórios da companhia. Os resultados preliminares apontam para uma performance por watt superior à que existe hoje como referência no mercado.

A meta é tornar a inteligência artificial financeiramente viável, reduzindo o consumo energético e o tempo de processamento. Com isso, a empresa consegue cobrar menos pelo uso dos seus serviços, ao mesmo tempo em que garante disponibilidade e estabilidade para usuários gratuitos durante picos de acesso.

Fonte: Tecnoblog