IA que pode ser usada na Alexa está jogando Pokémon na Twitch

Um projeto iniciado nessa terça-feira (25/02) na Twitch está fazendo a IA Claude, da Anthropic, jogar Pokémon Red. A IA está aprendendo em tempo real como jogar o primeiro game da franquia. O LLM do Claude é cotado como a tecnologia que será usada na nova geração da Alexa, que ganhará ferramentas de IA generativa.

Nesta quarta-feira (26/02), a Amazon realizará um evento no qual pode apresentar o Claude na Alexa. Ainda que a Twitch seja da Amazon e esta esteja investindo na Anthropic, o projeto não foi desenvolvido pela empresa de IA, mas aparentemente por apenas uma única pessoa. Na descrição da conta, o autor diz ser fã do Claude e de Pokémon.

O projeto Claude Plays Pokémon utiliza ferramentas para que o Claude analise a imagem do jogo, identifique o cenário e encontre localizações de interesse. A IA generativa também ganhou um sistema de navegação para tentar encontrar caminhos até os pontos de interesse — mas ele não é perfeito.

O desenvolvedor do projeto instalou dois mods para melhorar a coloração do jogo. Como ele explicou na descrição do projeto, isso ajuda o Claude a enxergar melhor o que está na tela.

Mesmo com essas ajudas, Claude ainda não aprendeu que existem elementos que bloqueiam o caminho ou a real localização de uma porta. Antes de entrar no ginásio de Pewter, ele ficou na frente de uma parede lateral, acreditando que estava na frente da porta. Ou seja, ele identificou uma porta no cenário, mas não conseguiu reconhecer a diferença na posição.

A stream é dividida em duas telas. Na esquerda, vemos o raciocínio do Claude, e na direita, o jogo em si. É interessante ver como a IA vai calculando estratégia de batalhas. Só que isso não vem só de aprender com jogo.

Fonte: Tecnoblog