Utilizan inteligencia artificial para crear un ser humano digital que canta

¿Qué sucede cuando combina NVIDIA Omniverse y su aplicación Audio2Face impulsada por inteligencia artificial con Unreal Engine 5 de Epic Games?

Humanos cantantes digitales realistas, por supuesto, o al menos en manos de Anderson Rohr, un artista 3D y editor de video independiente del sur de Brasil.

Para crear una versión de sincronización de labios de “Bad Moon Rising“, Rohr usó su propia voz y un sistema NVIDIA Studio con una GPU GeForce RTX 3090.

Primero, Rohr tuvo que grabarse a sí mismo cantando antes de importar el archivo a Audio2Face.

Esta aplicación, que se basó en Omniverse usando la tecnología de inteligencia artificial de NVIDIA, genera automáticamente animaciones faciales expresivas para humanos digitales usando solo una pista de voz en off o cualquier otra fuente de audio.

A continuación, los ojos, las cejas y el cuello de su personaje digital tenían que ser creados manualmente antes de pasar a ajustar la iluminación.

Fuente: YouTube