Categorías: Tecnología

Inteligencia artificial añade efectos de sonido a un video según lo que aparezca en él

Comparta este Artículo en:

Foley es el proceso de recrear sonidos, como los pasos de la gente o el choque de dos objetos, para añadirlos a las películas en postproducción como efectos de sonido.

Por ejemplo, en ‘El Señor de los Anillos: El Retorno del Rey’, el sonido que hacen las calaveras al caerse en el minuto 36:25 del film no se consiguió con calaveras de verdad, sino con 20 kilos de nueces moviéndose en un saco y unos cocos cayéndose al suelo.

Conseguir estos efectos de sonido es laborioso, pero AutoFoley, una inteligencia artificial desarrollada por John J. Prevost y Sanchita Ghose, de la Universidad de Texas, busca hacerlo más sencillo sintetizando sonidos a partir de imágenes.

Los investigadores describen AutoFoley como “una herramienta de aprendizaje profundo totalmente automatizada que puede utilizarse para sintetizar una pista de audio representativa para los videos“.

They have set their minds that once get trapped by this sexual dysfunction they can’t be relieved from the impacts and can’t live http://secretworldchronicle.com/tag/metis/ cheap cialis a normal life, and is complete to enjoy sex. The viagra for secretworldchronicle.com pomegranate has a rich source of phytochemical compounds,it has high levels of flavonoids and polyphenols, potent antioxidants that help fight against heart disease and cancer. pop over here buy levitra without prescription When this problem occurs frequently and is causing great difficulty then it becomes extremely necessary to get early discharge treatment in Delhi. More studies are needed to understand the effect of another enzyme known as cyclic GMP, which is responsible for allowing an erection. viagra 25 mg

De acuerdo con Prevost y Ghose, puede utilizarse en aplicaciones en las que no existe un archivo de audio asociado a un video, o lo que es lo mismo, en videos sin sonido.

Para ello, AutoFoley se vale de dos modelos de machine learning.

El primero analiza las características de la imagen, como el movimiento.

El segundo analiza la relación temporal del objeto en los diferentes frames del video.

Después de aplicar cada uno de los modelos, el sonido se sintetiza para que encaje con el video.

AutoFoley, explican los investigadores en su artículo publicado en IEEE Xplore, fue entrenado con “un conjunto de datos de audio y video a gran escala que contiene una variedad de sonidos usados frecuentemente como efectos Foley en las películas“.

Finalmente, usaron AutoFoley para recrear el sonido de 1.000 videos cortos, como los que podemos ver en este artículo.

Como explican en IEEE Sprectrum, AutoFoley consigue mejores resultados cuando el sonido no tiene que estar perfectamente sincronizado con la escena.

En el video del caballo galopando, por ejemplo, puede verse que el sonido no está perfectamente sincronizado con las patas del animal, mientras que en el video de la hoguera no es fácil saber que es un audio sintetizado de forma artificial.

De hecho, los investigadores encuestaron a 57 estudiantes y el 73% de los sujetos “consideraron la pista de sonido generada como original“.

El modelo, como indicábamos, no es perfecto.

Los investigadores señalan que un requisito para que AutFoley funcione bien es el que el sujeto esté siempre en escena.

Por ejemplo, en las películas, si un caballo se sale de la escena seguimos escuchando cómo se aleja.

Esto, por el momento, no es capaz de ser interpretado por la IA, pero será un tema que abordarán en investigaciones futuras.

Fuente: Xataca

Editor PDM

Entradas recientes

Desarrollan tecnología táctil acústica que ayuda a las personas con problemas de visión a ver mediante el sonido

Investigadores de la Universidad Tecnológica de Sydney (Australia) han desarrollado una tecnología táctil acústica que…

14 hours hace

Desarrollan innovadora piel de robot

El sensor blando inteligente puede mejorar las prótesis y mejorar la interacción entre humanos y…

14 hours hace

Inventan auto eléctrico de dos ruedas

Las ruedas paralelas reaccionan automáticamente en relación con la carrocería para mantener el vehículo en…

14 hours hace

Casas de cemento que se inflan: método para construir tres veces más rápido y con la mitad de costo

Cuando allá por los años 60 el diseñador italiano Dante Bini se propuso repensar la…

14 hours hace

Construcción con un robot: 500 ladrillos por hora

La compañía australiana FBR se ha marcado el que tal vez sea uno de los…

15 hours hace

Robot con forma de trompa de elefante para interacción cercana con humanos

En el laboratorio CREATE de EPFL, bajo la dirección de Josie Hughes, se ha logrado…

2 days hace
Click to listen highlighted text!