Inteligencia artificial crea impresionantes animaciones en 3D a partir de una foto

El contenido generado algorítmicamente a veces puede resultar hilarantemente absurdo o notablemente tonto.

Pero los investigadores de la Universidad de Washington (uno de los cuales vendió su startup a Facebook) desarrollaron un sistema que utiliza la visión artificial para crear animaciones 3D increíblemente geniales.

El sistema, llamado Photo Wake-Up, crea una animación en 3D a partir de una sola foto.

En el documento, los investigadores lo comparan con los retratos en movimiento en Hogwarts, una parte ficticia del mundo de Harry Potter que varias compañías tecnológicas han tratado de recrear.

Los intentos anteriores han sido ligeramente exitosos, pero este sistema es impresionante en su capacidad para aislar y crear una animación 3D bastante realista a partir de una sola imagen.

Los investigadores probaron el sistema en 70 fotos diferentes que descargaron en línea, que incluían imágenes de Stephen Curry, el personaje de anime Goku, una obra de arte de Banksy y una pintura de Picasso.

El equipo usó un programa llamado SMPL y aprendizaje profundo, comenzando con un recorte en 2D del sujeto y luego superponiendo un esqueleto 3D al mismo.

“Nuestra contribución técnica clave, entonces, es un método para construir un modelo 3D animable que coincida con la silueta en una sola foto”, dijo el equipo a MIT Technology Review.

Al parecer, el equipo utilizó un algoritmo de deformación para garantizar que el recorte y el esqueleto estuvieran alineados.

El algoritmo del equipo también es capaz de detectar la dirección que está mirando el sujeto y la forma en que su cabeza está inclinada.

Además, para asegurarse que la animación final sea realista y precisa, el equipo utilizó una interfaz de usuario propia para corregir cualquier error y ayudar con la textura de la animación.

Luego, un algoritmo aísla al sujeto de la imagen 2D, llena el espacio restante y anima al sujeto.

Los investigadores señalan que la animación final se puede ver e interactuar en un monitor, en realidad aumentada y en realidad virtual.

El sistema, aunque está bastante limpio, tiene sus defectos.

Los investigadores señalaron en el documento que su método aún no puede animar sombras y reflejos, y si bien puede manejar algunas auto-oclusiones como los brazos cruzados, no puede manejar otras, como un sujeto sentado con las piernas cruzadas.

Los investigadores también declararon que el modelo SMPL puede producir posturas animadas erróneas “debido a ambigüedades”.

Aún así, este es definitivamente uno de los modelos más geniales para la animación 3D, y sugiere un espacio en línea menos estático.

“Creemos que el método no solo permite nuevas formas para que las personas disfruten e interactúen con las fotos, sino que también sugiere un camino para reconstruir un avatar virtual a partir de una sola imagen, al mismo tiempo que proporciona información sobre el estado del arte del modelado humano a partir de una sola foto.”

Claro, Facebook actualmente le permite subir un video en bucle como su foto de perfil.

Pero un sistema como este, que aísla a un sujeto de su entorno, se siente mucho más cerca de cerrar la brecha entre los mundos de fantasía y la vida real.

Fuente: Gizmodo