Inteligência artificial do Google supera profissionais em leitura labial

O que você precisa saber

A DeepMind, empresa de inteligência artificial que pertence ao Google, conseguiu ensinar um sistema a ler os lábios de pessoas em imagens gravadas e fornecer legendas para o que elas estavam dizendo. No final do período de treinamento, o sistema conseguia realizar leitura labial de imagens gravadas com precisão superior à de profissionais treinados para isso.

Foram usadas cerca de 5 mil horas de programação da BBC, incluindo noticiários, para treinar a máquina. De acordo com a New Scientist, elas continham um total de aproximadamente 118 mil frases inteiras. Programas que foram ao ar entre janeiro de 2010 e dezembro de 2015 foram usados como conjunto de treinamento, e o sistema foi testado usando programas de entre março e setembro de 2016.

Dentre as frases que a máquina foi capaz de legendar estavam sentenças bastante complexas, como “We know there will be hundreds of journalists here as well” (sabemos que haverá centenas de jornalistas aqui também) e “According to the latest figures from the Office of National Statistics” (de acordo com os números mais recentes do escritório de estatísticas nacionais).

Um dos desafios da máquina – além de aprender a ler lábios – foi preparar o seu próprio material de estudo. Isso porque os arquivos de programas de TV disponíveis estavam com áudio e vídeo dessincronizados; em alguns casos, havia mais de um segundo de defasagem entre as duas coisas. Isso fazia com que fosse impossível para o sistema criar associações entre os sons e a posição dos lábios das pessoas que apareciam na tela.

Para resolver esse problema, o sistema foi alimentado com algumas associações corretas entre sons e formatos de boca. Com essa informação, ele conseguiu sincronizar de novo o áudio e o vídeo das mais de 5 mil horas de material de treino. Em seguida, ele “assistiu” novamente a esse material para aprender novas relações entre sons e formatos de boca. Com o tempo, ele aprendeu a legendar frases da seguinte maneira:

Com o fim de testar a eficiência do sistema, os pesquisadores da DeepMind e da Universidade de Oxford compararam o desempenho dele com o de um profissional em leitura labial. Os dois tiveram que decifrar 200 clipes selecionados aleatoriamente dos programas de teste. Enquanto o profissional conseguiu acertar 12,4% das palavras sem qualquer erro, a máquina acertou 46,8% delas.