Inteligencia artificial crea videos a partir de una sola foto

Una foto puede traer buenos recuerdos, pero un video puede ayudarlo a regresar al destino tropical en el que estuvo de vacaciones hace años.

Investigadores de la Universidad de Washington han desarrollado un método de aprendizaje profundo que puede convertir una sola imagen fija en un video en movimiento sin requerir ningún metraje de referencia capturado donde se tomó la foto.

Es otro uso novedoso del aprendizaje automático que demuestra los beneficios potenciales de la tecnología, y si bien es similar a las técnicas que las empresas como MyHeritage aprovechan para dar vida a las fotos de parientes antiguos, este nuevo enfoque se enfoca en fenómenos de flujo natural como el agua, humo y nubes.

Desarrollado en la Escuela de Ingeniería y Ciencias de la Computación Paul G. Allen de la Universidad de Washington, el modelo no requiere ningún aporte de un usuario aparte de una foto fija, como la de un viaje reciente a las Cataratas del Niágara.

Al igual que con cualquier procesamiento de imágenes automatizado realizado a través de métodos de aprendizaje profundo, el proceso comienza con el entrenamiento del modelo, que en este caso se realizó utilizando miles de videos de ríos, cascadas e incluso clips del océano; cualquier cosa que demuestre una cantidad notable de movimiento fluido.

El proceso comenzaría con la red neuronal tratando de predecir el movimiento de un video con un solo cuadro de inicio, después de lo cual la predicción se comparó con los resultados reales para que el modelo pudiera identificar lentamente pistas visuales que revelarían cómo se supone que se mueven los fluidos, corrigiendo cualquier imprecisión con sus predicciones.

El modelo entrenado podría luego aplicarse a fotos fijas donde determinaría cómo cada pixel debería moverse fotograma a fotograma para crear una animación corta, pero eso creó sus propios desafíos porque los ríos y las cascadas son fenómenos perpetuos, y el flujo de pixeles debe reponerse constantemente donde comienza a moverse.

Los investigadores desarrollaron otra técnica llamada “salpicadura simétrica” ​​que predijo los movimientos de un flujo que avanza en el tiempo, pero también los movimientos si el tiempo retrocede.

El resultado fue dos animaciones diferentes que, cuando se combinan y combinan inteligentemente, crean un movimiento perpetuo y creíble que está perfectamente entrelazado.

A veces, los resultados están muy cerca de ser fotorrealistas, pero otras veces hay pistas visuales sutiles que su cerebro capta y que levantan banderas rojas sobre la autenticidad de lo que está viendo.

Una de las cosas que el método de aprendizaje profundo que desarrollaron los investigadores ignora es cómo el agua y el humo en movimiento pueden distorsionar la luz.

Las ondas en el fondo de una cascada distorsionan los reflejos de formas complejas que su cerebro está acostumbrado a ver, y cuando no se recrean con precisión son muy notables.

Lo mismo ocurre con la forma en que la niebla o el humo oscurecen y distorsionan lo que hay detrás de ellos.

Pero estos son problemas que a menudo se pueden superar con más capacitación en una base de datos más grande de videos de origen.

Fuente: Gizmodo