Disney desarrolla tecnología de intercambio de rostros que promete cambiar la cinematografía

En unos pocos años, los intercambios de rostros automatizados alimentados por redes neuronales han pasado de ser ligeramente convincentes a ser increíblemente creíbles.

Pero a través de una nueva investigación de Disney, el intercambio de caras neuronales está listo para convertirse en una herramienta legítima y de alta calidad para los estudios de efectos visuales que trabajan en éxitos de taquilla de Hollywood.

Uno de los mayores desafíos de crear videos falsos profundos, como se los conoce, es crear una vasta base de datos de imágenes faciales de una persona, miles de expresiones y poses diferentes, que se pueden intercambiar en un video objetivo.

Cuanto más grande sea la base de datos y mayor sea la calidad de las imágenes, mejores serán los intercambios de caras.

Pero las imágenes (que a menudo son imágenes de la cabeza de personas famosas) generalmente se obtienen de fuentes con resolución limitada.

Incluso un archivo de video 4K puede producir imágenes faciales de baja resolución dado que las caras pequeñas a menudo aparecen en el marco general de una toma.

Entonces, el primer paso para generar videos falsos profundos realmente convincentes es comenzar con una fuente de alta calidad.

En un nuevo documento presentado en el Simposio Eurographics 2020 sobre Rendering, “Intercambio de caras neuronales de alta resolución para efectos visuales”, investigadores de ETH Zurich y Disney Research Studios detallan varias innovaciones y enfoques nuevos a intercambios faciales automatizados que producen resultados de megapixeles con suficiente calidad y resolución para ser utilizados en la producción real de películas.

El nuevo algoritmo creado por los investigadores comienza modificando realmente la fuente (o el video objetivo) para facilitar el intercambio de caras alternativas.

El movimiento en el metraje fuente se estabiliza y suaviza sutilmente para eliminar posibles problemas, como un labio tembloroso que potencialmente podría desviar el proceso de intercambio automatizado en un paso posterior.

Los investigadores también mejoraron varios otros pasos en el camino, incluida la combinación de la nueva cara en el original a través de técnicas de composición mejoradas para que coincida mejor con el contraste general.

El algoritmo incluso hace un trabajo mucho mejor al generar los cuadros intermedios necesarios para crear resultados suaves para que la nueva cara no parezca saltar cuando se reproduce el material alterado.

Todos los días parece haber un nuevo uso para el aprendizaje automático que promete agilizar y acelerar una tarea que generalmente ha llevado mucho tiempo completar, y desde que los primeros videos falsos comenzaron a llegar a Internet, los artistas de efectos visuales han visto el potencial para el trabajo que hacen.

Los intercambios de caras no son infrecuentes en la industria del cine y la televisión.

A menudo, un doble de acrobacias mirará momentáneamente a la cámara, lo que requerirá una extensa postproducción para garantizar, incluso por un breve momento, que la persona en la pantalla se vea exactamente como debe ser.

Solucionar estos problemas a menudo puede requerir nuevas tomas, o una combinación de gráficos inteligentes por computadora y composición, lo cual nunca es barato.

Con esta nueva investigación, las imágenes existentes de la misma sesión podrían usarse para entrenar el algoritmo, que luego solucionaría estos problemas por sí solo.

Pero si bien los artistas de efectos visuales con exceso de trabajo y los productores de Hollywood preocupados por el presupuesto podrían celebrar la nueva herramienta, también hará que sea mucho más difícil detectar videos falsos en Internet.

Los nuevos enfoques de esta investigación no tardarán en encontrar su camino hacia las herramientas de aprendizaje automático existentes, momento en el cual podemos esperar que una nueva ola de falsificaciones profundas inunde Internet, y ahora hay una buena posibilidad de que no sepamos que son falsos.

Fuente: Gizmodo