Google Lumiere, inteligencia artificial que genera videos e imágenes animadas en segundos

Google presentó Lumiere, una nueva herramienta que genera videos a partir de texto o imágenes de referencia.

Sus investigadores aseguran que es superior a otras opciones en el mercado.

Google presentó el que podría ser uno de los generadores de videos más avanzados hasta ahora:

Se llama Lumiere y permite crear contenido a partir de una descripción de texto o una imagen.

Pero a diferencia de modelos de inteligencia artificial ya existentes, la compañía destaca que el suyo confecciona movimientos «realistas, diversos y coherentes». Y en solo segundos, por supuesto.

Google había presentado anteriormente otras herramientas de generación de videos, pero más limitadas que Lumiere.

La nueva tecnología utiliza un modelo llamado Space-Time-U-Net (STUNet), que determina dónde están los objetos u elementos en un video, cómo se mueven y cambian simultáneamente.

Además de generar videos e imágenes animadas, puede copiar estilos artísticos, y hasta permite editar los clips creados.

«Demostramos resultados de generación de vanguardia y mostramos la aplicabilidad de nuestro enfoque para una amplia gama de implementaciones», dicen los desarrolladores en el reporte de la investigación.

El modelo fue entrenado con más de 30 millones de videos, con sus subtítulos.

Lumiere tiene capacidad para generar 80 cuadros a 16 fotogramas por segundo, indicó Google.

Esto permite videos de hasta cinco segundos de duración, con una resolución de 1024 x 1024 pixeles.

Además, según un estudio realizado con usuarios, sus resultados fueron preferidos frente a los modelos de video con inteligencia artificial existentes.

Lumiere todavía no está disponible para pruebas, ni tampoco se sabe cuándo llegará o si alguna vez Google lo lanzará al público.

Google también demuestra la capacidad de Lumiere para crear escenas delirantes, como la de un panda manejando una auto o un gato tocando el piano.

También alardea de su herramienta dándole movimiento a pinturas tan famosas como la Mona Lisa.

Como la mayoría de las opciones hasta ahora, Google Lumiere no está diseñado para generar videos que impliquen varias tomas o transiciones entre escenas.

«Generar dicho contenido sigue siendo un desafío abierto para futuras investigaciones», reconocen los autores.

Los desarrolladores de Google incluyeron una advertencia sobre cómo Lumiere podría impulsar la difusión de deepfakes.

«Existe el riesgo de un uso indebido al crear contenido falso o dañino con nuestra tecnología», dicen en el reporte.

«Creemos que es crucial desarrollar y aplicar herramientas para detectar sesgos y casos de uso maliciosos para garantizar una experiencia segura y justa».

Fuente: arXiv