Lanzan IA capaz de generar videos 3D a partir de imágenes

Comparta este Artículo en:

Los creadores de Stable Diffusion presentaron Stable Virtual Camera, una IA que genera videos 3D a partir de imágenes estáticas.

Stability AI, los creadores de Stable Diffusion, presentaron un nuevo modelo de lenguaje capaz de generar videos con profundidad.

Conocida como Stable Virtual Camera, esta IA promete transformar imágenes 2D en videos 3D inmersivos con profundidad y perspectiva realistas.

El modelo permite el control dinámico de la cámara, ofreciendo trayectorias predefinidas y personalizadas sin necesidad de un preprocesamiento complejo para cada escena.

Stable Virtual Camera se centra en el uso de cámaras virtuales, un componente esencial en la animación 3D.

Estas cámaras permiten capturar y navegar por escenas en tiempo real, ofreciendo encuadres personalizados.

La ventaja de esta IA es que puede generar videos 3D fluidos a partir de una sola imagen de entrada (o un máximo de 32 imágenes), a diferencia de los modelos de video 3D que requieren un conjunto de datos extenso.

Una de las innovaciones más significativas de Stable Virtual Camera es su capacidad para mantener la consistencia 3D en secuencias de video extensas.

El modelo puede producir videos de hasta 1.000 fotogramas, compatibles con diversas relaciones de aspecto, como cuadrado (1:1), vertical (9:16) y horizontal (16:9).

Esta consistencia garantiza transiciones fluidas y la posibilidad de reproducir videos en bucle sin artefactos perceptibles, incluso al revisar perspectivas anteriores.

El modelo de Stability AI ofrece diversas opciones de control dinámico de cámara, entre las que se incluyen:

Rotación de 360°: Permite vistas circulares completas alrededor de un punto focal.
Lemniscata (∞): Sigue una trayectoria en forma de ocho para una exploración dinámica de la escena.
Espiral: Se mueve en una trayectoria helicoidal para enfatizar la profundidad.
Dolly Zoom In/Out: Crea un efecto de zoom cinematográfico con distancias focales variables.
Panorámica y balanceo: Permite movimientos horizontales, verticales y rotatorios.
Avanzar/Retroceder: Simula el avance o retroceso en la escena.

Los usuarios pueden combinar estos movimientos para crear trayectorias personalizadas, logrando un movimiento de cámara fluido y natural.

Esta posibilidad de navegar y manipular la cámara resulta especialmente atractiva para cineastas, animadores e investigadores.

Si bien Stable Virtual Camera representa un avance en la generación de video 3D, presenta algunas limitaciones.

El modelo puede producir resultados de menor calidad al procesar imágenes de personas, animales o texturas dinámicas como el agua.

Asimismo, pueden aparecer artefactos de parpadeo cuando las trayectorias de la cámara se cruzan con superficies complejas o cuando el punto de vista objetivo difiere significativamente de las imágenes de entrada.

Stability AI ha revelado que su nuevo modelo se ofrece bajo una licencia no comercial, lo que permitirá a cualquiera experimentar con él y mejorarlo sobre la marcha.

Stable Virtual Camera está disponible gratuitamente a través de Hugging Face, mientras que los desarrolladores pueden descargar el código directamente desde GitHub.

Fuente: Stability

Artículos relacionados:

Crean inteligencia artificial capaz de generar videos a partir de una sola foto Inteligencia artificial capaz de generar imágenes a partir de texto y viceversa Inteligencia artificial capaz de generar imágenes leyendo la mente Usan inteligencia artificial para generar hologramas tridimensionales a partir de imágenes bidimensionales coloreadas Presentan inteligencia artificial tan ligera que puede generar imágenes realistas con su GPU Enseñan a inteligencia artificial a generar instantáneamente modelos 3D completamente texturizados a partir de imágenes 2D planas