Cybercode
Julia Monteiro
Julia Monteiro
Inteligencia Artificial · · 2 min de leitura ·

IA do Google ‘lê’ texto e pixels para criar paisagens sonoras

IA do Google 'lê' texto e pixels para criar paisagens sonoras

O que você precisa saber

A DeepMind, empresa de pesquisa e desenvolvimento de inteligência artificial (IA) do Google, desenvolve uma ferramenta capaz de criar “paisagens sonoras” para vídeos. Chamada de V2A (abreviação, em inglês, de “vídeo-para-áudio”), a ferramenta entende comandos de texto e “lê” pixels para sincronizar áudio com vídeo.

O “motor”– ou “cérebro”, se preferir – do V2A é um modelo de IA que foi treinado combinando sons, videoclipes e transcrições de diálogos. A ferramenta usa a descrição de trilhas sonoras para criar “paisagens” e, depois, as sincroniza com as imagens.

As “paisagens sonoras” criadas pela nova ferramenta do Google contam com diálogos, música e efeitos sonoros. Elas são geradas de forma que correspondam ao tom das imagens dos vídeos.

“Através do treinamento em vídeo, áudio e anotações adicionais, nossa tecnologia aprende a associar eventos de áudio específicos a várias cenas visuais, ao mesmo tempo que responde às informações fornecidas nas anotações ou transcrições”, explica a DeepMind em comunicado publicado em seu site.

Ainda de acordo com a empresa, a ferramenta seria capaz de compreender “pixels brutos” de uma imagem e sincronizar automaticamente os sons gerados, sem necessidade de descrições.

Por ainda não ter alcançado uma qualidade alta de som e para evitar o uso indevido, como deep fakes focadas em desinformação, a DeepMind disse que não disponibilizará o recurso tão cedo.

Publicidade