O que é token? Entenda os ‘bloquinhos’ usados pela IA na hora de te responder

O que você precisa saber

Você e a inteligência artificial (IA) leem de forma diferente. Você, humano, lê palavras. Usa o vocabulário armazenado na sua mente. A IA, máquina, lê bloquinhos com etiquetas numéricas. Esses bloquinhos são os tokens. O token é a língua que grandes modelos de linguagem (LLMs, na sigla em inglês), como…

Este artigo é exclusivo para membros do Clube Olhar Digital. Assine o plano Prime e tenha acesso ilimitado.

Pedro Spadoni é jornalista formado pela Universidade Metodista de Piracicaba. Já escreveu para sites, revistas e jornal.