IA para generación de videos de alta resolución disponible como software de código abierto

Un equipo de investigadores de IA de la Universidad de Pekín, Kuaishou Technology y la Universidad de Correos y Telecomunicaciones de Pekín ha desarrollado un nuevo modelo de IA llamado Pyramid Flow, que puede utilizarse para generar imágenes de video virtuales de alta resolución (768p).

En los últimos años, varias entidades, tanto privadas como públicas, han estado trabajando para crear modelos de generación de video con IA.

Esto se debe a que dichos modelos pueden utilizarse para crear aplicaciones capaces de producir contenido de video virtual para su uso en televisión y películas, a un costo mucho menor que el de filmar escenas reales.

Esto significa que los modelos de IA están aumentando su valor muy rápidamente.

En este nuevo esfuerzo, el equipo de China ha optado por hacer que su modelo sea de código abierto, lo que significa que cualquiera que elija desarrollar una aplicación para él (un shell de inferencia) y ejecutarlo localmente, incluso para uso comercial, puede hacerlo sin costo alguno.

Los creadores de Pyramid Flow han añadido una nueva característica a los modelos de generación de video de IA: genera video en múltiples etapas de baja resolución antes de generar el resultado final de su procesamiento.

El equipo de investigación afirma que un shell de inferencia puede generar un video de cinco segundos en 56 segundos; el resultado será una resolución de 384p.

Señalan que su enfoque genera video utilizando mucho menos potencia de cálculo, lo que lo hace menos costoso.

También reduce drásticamente la cantidad de tokens necesarios para la generación de video, lo que lo hace más eficiente.

El equipo ha publicado (bajo una licencia MIT) el código de Pyramid Flow en GitHub, junto con videos de muestra que demuestran los resultados altamente realistas que se pueden esperar del modelo.

También han enumerado los conjuntos de datos de código abierto que utilizaron para entrenar su modelo, que en conjunto sumaron 10 millones de videos cortos.

Sugieren que Pyramid Flow podría ser una herramienta adecuada para su uso en el perfeccionamiento de material de código abierto, sin necesidad de pagar a un tercero.

Fuente: arXiv