IA que cria voz foi lançada recentemente e já causa problemas com deepfakes

A ElvenLabs lançou a sua plataforma de criação de voz por inteligência artificial no meio de janeiro. Alguns dias depois, a ferramenta causou problemas ao ser usada no fórum 4Chan para a criação de deepfakes com pessoas públicas e personagens. Joe Rogan, Emma Watson e Rick Sanchez (Rick and Morty) foram alguns dos alvos.

No Twitter, a ElvenLabs divulgou está desenvolvendo contramedidas para combater o mau uso da sua plataforma de criação de voz. Entre as ferramentas que a empresa está criando está a verificação de contas usando mais etapas e de direitos autorais na funcionalidade de clonar vozes. A plataforma da ElvenLabs tem versões pagas e gratuitas.

No Twitter, a ElvenLabs não mostrou exemplos dos usos indevidos de sua tecnologia, mas o site Motherboard revelou que membros do 4Chan estavam usando as vozes criadas pela plataforma para gravar deepfakes com discursos de ódio.

Em um dos vídeos, a imagem da atriz Emma Watson foi usada com uma voz parecida com a original para simular que ela estava lendo o livro Mein Kampf. Em outro deepfake, Rick Sanchez, protagonista de Rick & Morty, aparecia falando que bateria na esposa. Justin Roiland, um dos criadores da série e dublador dos protagonistas, é réu em um processo de violência doméstica.

A criação desses deepfakes foi facilitada pela função de clonagem de voz da ElvenLabs. Com amostras de mais de 1 minuto, o sistema cria uma voz similar ao original. O recurso está disponível na versão gratuita do ElvenLabs.

No Twitter, a ElvenLabs anunciou as alterações que desenvolverá para evitar o uso da sua tecnologia na criação de conteúdo falso.

Fonte: Tecnoblog