A tecnologia de gerador de vídeo AI do Google é incrível. Veja você mesmo

Com o Lumiere, o modelo de geração de vídeo com IA do Google, um prompt de texto rápido pode criar um vídeo realista e contínuo.

Desde o lançamento do DALL-E 2 no final de 2022, os geradores de texto para imagem estão na moda, com muitos concorrentes valiosos entrando no mercado. Agora, mais de um ano depois, estamos no início de uma nova tecnologia: a geração de vídeo por IA.

Na terça-feira, o Google Research lançou um artigo de pesquisa sobre o Lumiere, um modelo de difusão de texto para vídeo que pode criar vídeos altamente realistas a partir de prompts de texto e outras imagens.

O modelo foi projetado para enfrentar um desafio significativo na síntese de geração de vídeo, que é a criação de “movimentos realistas, diversos e coerentes”, segundo o artigo. Você deve ter notado que os modelos de geração de vídeo normalmente renderizam vídeos entrecortados, mas a abordagem do Google oferece uma experiência de visualização mais integrada, como pode ser visto no vídeo abaixo.

Os videoclipes não são apenas fáceis de assistir, mas também parecem hiper-realistas, uma atualização significativa em relação a outros modelos. O Lumiere pode conseguir isso por meio de sua arquitetura U-Net Espaço-Tempo, que gera a duração temporal de um vídeo de uma só vez por meio de uma única passagem.

Este método de geração de vídeo difere de outros modelos existentes, que sintetizam quadros-chave distantes. Essa abordagem torna inerentemente difícil alcançar a consistência do vídeo, de acordo com o artigo.

O Lumiere pode gerar vídeo a partir de diferentes entradas, incluindo texto para vídeo, que funciona como um gerador de imagem normal e gera um vídeo a partir de um prompt de texto, e imagem para vídeo, que captura uma imagem e usa o prompt que a acompanha para trazer o foto ganha vida em um vídeo.

O modelo também pode dar um toque divertido à geração de vídeo por meio da geração estilizada, que usa uma única imagem de referência para gerar vídeo no estilo de destino usando um prompt do usuário.

Além de gerar vídeo, o modelo pode ser usado para editar vídeos existentes por meio de diversas estilizações visuais que modificam um vídeo para refletir um prompt específico, cinemagraphs que animam uma área específica de uma foto e inpainting, que preenche áreas faltantes ou danificadas em o vídeo.

No artigo, o Google mediu o desempenho do Lumiere em relação a outros modelos proeminentes de difusão de texto para vídeo, incluindo ImagenVideo, Pika, ZeroScope e Gen2, pedindo a um grupo de testadores que selecionasse o vídeo que consideravam melhor em termos de qualidade visual e movimento. sem saber qual modelo gerou cada vídeo.

O modelo do Google superou os outros em todas as categorias, incluindo qualidade de texto para vídeo, alinhamento de texto de texto para vídeo e qualidade de imagem para vídeo.

O modelo ainda não foi divulgado ao público em geral; porém, se você tiver interesse em saber mais ou observar os modelos em ação, pode visitar o site do Lumiere, onde poderá ver diversas demonstrações do modelo realizando as diferentes tarefas.