DeepSeek trabalha em “tokens visuais” para melhorar memória de IAs

DeepSeek desenvolveu um método que transforma texto em imagens para otimizar a memória de modelos de inteligência artificial.

O sistema usa menos tokens e ajuda a evitar o “context rot”, quando a IA perde a coerência das interações.

A empresa chinesa de inteligência artificial DeepSeek está trocando os tradicionais tokens de texto por “tokens visuais”, armazenando informações escritas como imagens compactadas. A ideia é que a técnica possa melhorar a capacidade de memória dos modelos de IA da companhia.

A abordagem, explicada em uma pesquisa publicada neste mês, foi testada em um novo modelo de Reconhecimento Óptico de Caracteres (OCR), que permite que o sistema retenha quase a mesma quantidade de informação usando menos tokens.

Essencialmente, a solução “tira uma foto” das páginas e armazena a informação como imagem. O método também usa compressão em camadas: dados mais antigos ficam “levemente borrados” para economizar espaço, mas sem perder a acessibilidade. Os códigos e os pesos de treinamento estão disponíveis no GitHub.

Atualmente, os LLMs quebram textos em milhares de unidades (tokens), um método que se torna caro em processamento à medida que as conversas se alongam. Isso causa o “context rot” (apodrecimento do contexto), fazendo a IA “esquecer” o início da interação e perder a coerência.

Fonte: Tecnoblog