Adobe revela bizarra ferramenta IA de upscaling de vídeos

A Adobe divulgou um novo modelo de IA para upscaling de vídeos, o VideoGigaGAN. Esta aplicação ainda está na fase de desenvolvimento e foi apresentada pela empresa em um artigo de prévia de pesquisa, publicado no dia 18 de abril. O VideoGigaGAN promete melhorar em até oito vezes a qualidade dos vídeos enviados no prompt.

O GAN do nome do modelo significa Generative Adversial Networks (Redes Adversariais Gerativas em tradução direta), uma tecnologia usada para fotos e outras imagens estáticas. Sua aplicação em vídeo trazia alguns elementos que tremiam, além de falhas comum em vídeos gerados por IA — conhecidas como “alucinações de IA”.

Entre os autores do artigo estão dois membros da Universidade de Maryland, mas todos os outros são pesquisadores da própria Adobe. O paper pode ser acessado pelo Arxiv.

Os vídeos de demonstrações divulgados pela Adobe mostrando resultados altamente realistas. Além disso, na página da novidade no GitHub, o upscaling realmente consegue “recuperar” vídeos em qualidades baixíssimas, entregando uma maior resolução.

Nos exemplos da Adobe, os vídeos do prompt (aqueles que precisam ser melhorados) possuem 128 x 128 pixels. O VideoGigaGAN produz então vídeos com até 1024 x 1024 pixels de resolução — valores “próximos” a qualidade HD, mas que não estão no padrão definido para qualidade HD. Os vídeos usados como base aparecem com a sigla “GT” (ground truth) nos comparativos.

A Adobe divulgou também os testes do VideoGigaGAN para produzir vídeos de 512 x 512 pixels com prompts genéricos — vídeos que não passaram pelo processo de redução da qualidade como nos casos com GTs. Em ambas as resoluções, os resultados parecem bem naturais. No futuro próximo, além das dúvidas sobre imagens e vídeos gerados por IA, teremos o mistério de vídeos que passaram por upscaling de IA.

Fonte: Tecnoblog