Logran generar un modelo 3D de 360 grados de un ser humano, a partir de una sola fotografía 2D

Investigadores han desarrollado un método para generar una vista de 360 grados de una persona con una apariencia consistente y de alta resolución a partir de una única imagen de entrada, llamado difusión guiada por formas.

Esto se logra sintetizando primero múltiples vistas del ser humano en la imagen de entrada pintando regiones faltantes con difusión guiada por forma condicionada a la silueta y la superficie normal.

Estas múltiples vistas luego se fusionan mediante renderizado inverso para obtener una malla 3D de alta resolución completamente texturizada de la persona determinada.

Así, lograron un método capaz de lograr una síntesis fotorrealista de 360 grados de una amplia gama de humanos vestidos con texturas complejas a partir de una sola imagen.

“En cada iteración, renderizamos de manera diferenciada el mapa de textura UV en cada vista sintetizada de nuestro conjunto de vistas.

Minimizamos la pérdida de reconstrucción entre la vista renderizada y nuestra vista sintetizada usando tanto la pérdida LPIPS como la pérdida L1.

La fusión da como resultado una malla texturizada eso se puede representar desde cualquier vista”, dijeron los investigadores.

Fuente: GitHub