La inteligencia artificial para doblar películas ofrece excelentes resultados

La tecnología lleva décadas siendo una gran aliada del cine, y en los últimos tiempos la cosa ha ido más.

La inteligencia artificial ha ayudado a que los deepfakes aplicados al séptimo arte permitan cosas alucinantes como rejuvenecer o envejecer a los actores o, en los últimos tiempos, preservar sus voces para siempre.

Han desarrollado una herramienta para crear una nueva solución de doblaje.

En lugar de doblar tradicionalmente el audio, se realiza un doblaje (dubbing) visual (de ahí la “v” inicial).

Se creó la empresa Flawless AI, especializada en esta evolución de los deepfakes especialmente orientada al mundo del cine, bien para doblajes, bien para modificar lo que los actores decían y corregirlo sin tener que repetir tomas a posteriori (con la complejidad que eso implica).

La tecnología TrueSync de Flawless AI identifica patrones en los fonemas (sonidos que hacen) y visemas (cómo mueven la boca al hacerlos) de los actores.

Tras entrenar el sistema, éste es capaz luego de simular que el actor dice cualquier otra cosa, o que lo dice en cualquier otro idioma.

Lo realmente interesante de esta tecnología es que la boca se mueve de forma acorde a la pronunciación de esas palabras.

En el video se puede ver cómo en el doblaje tradicional se nota que Jack Nicholson no parece estar hablando francés, pero con este sistema Robert de Niro parece estar hablando alemán porque la boca se mueve (más o menos) como debería hacerlo al pronunciar esas palabras.

El resultado no es perfecto, desde luego, pero no para de mejorar.

Como decimos, los modelos que permiten ajustar el resultado han mejorado mucho en estos últimos meses, y eso se nota en ‘Fall’.

En este video de Flawless se puede ver cómo hablan del proceso y en el minuto 1:54 se muestra cómo van modificando a una de las protagonistas para que en lugar de ‘fuc****’ diga ‘freaking’, mucho más aceptable para las salas.

Como en tantos otros ámbitos “amenazados” por la inteligencia artificial, este tipo de herramientas pueden limitar el futuro de los actores de doblaje.

Esta herramienta tiene obvias ventajas para el mundo del cine y la televisión, pero también confirma el peligro que tienen los deepfakes, cada vez más creíbles, si son usados no ya para la sátira, sino para difundir noticias falsas o cometer todo tipo de fraudes.

Fuente: Xataca