Generan efectos sonoros mediante inteligencia artificial

Los sonidos son una parte fundamental en cualquier película o serie de televisión.

En caso de que resulte necesario crearlos, los responsables pueden incorporar efectos de sala, también conocidos como efectos de Foley.

Se trata de sonidos obtenidos en un estudio utilizando materiales cotidianos, de modo que suenen como los sonidos reales, cuadren con la imagen y queden perfectamente integrados en la escena.

Las producciones con menor presupuesto suelen echar mano de las librerías de sonidos, un recurso más económico pero que ofrece resultados menos naturales.

Ahora, sin embargo, la inteligencia artificial (IA) proporciona a los creadores una tercera opción.

Basándose en técnicas punteras en este campo, investigadores de la Universidad Politécnica de Madrid (UPM) en España han desarrollado un sistema para la síntesis de efectos de sala.

Y ya cuenta en su haber con el primer cortometraje realizado en España que ha empleado la inteligencia artificial con este fin.

La aplicación se denomina Foley-VAE.

Las siglas, correspondientes en inglés a autocodificador variacional, hacen referencia a una arquitectura de inteligencia artificial que tiene la capacidad de generar sonidos completamente nuevos.

“Después de alimentarlo con sonidos descargados de una base de datos, nuestro software extrae las características latentes, las que sintetizan los aspectos fundamentales de los sonidos”, indica Mateo Cámara, profesor ayudante en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT).

“Extraer las características latentes implica exponerlas, de tal forma que un usuario puede modificarlas y observar cómo los sonidos varían.

Es en este punto donde abrimos la puerta a que un artista de Foley [como se denomina al creador de efectos de sala] actúe”.

¿Qué representa cada variable? No se puede saber a priori, admite Cámara.

“Sin embargo, nuestro software permite modificarla en tiempo real y escuchar cómo ha variado el sonido original”.

Lo ilustra con un par de ejemplos:

“Si al modificar una variable, el audio parece más acuoso, podemos etiquetarla como cantidad de agua.

Otra variable podría producir un sonido más electrizante, parecido a un sable laser, que llamaríamos cantidad de sable laser.

Así, el creador puede ir poniéndole su nombre personal a cada variable e ir generando efectos en función de las variaciones que decida”.

“Parece magia, pero nuestro sistema es capaz, a partir de sonidos naturales normales y corrientes, de generar infinitas mezclas nuevas, tal y como haría un artista de Foley con un material”, continúa Cámara, quien está desarrollando su tesis doctoral sobre el uso de la inteligencia artificial en este campo dentro del Grupo de Aplicaciones del Procesado de Señal.

“Supongamos que queremos crear un paso. Un artista de Foley tomaría el suelo en el que quiere pisar y se grabaría haciéndolo.

Nosotros tomaríamos grabaciones de pisadas en ese suelo y generaríamos nuevos pasos, con la misma calidad con la que lo haría el artista y con variaciones, o nuevos detalles añadidos, virtualmente infinitos”.

Además de esta potencialidad, el investigador destaca la facilidad de uso de Foley-VAE, que no requiere ningún conocimiento técnico para crear los efectos.

Basta con que el usuario mueva unos botones deslizantes en una interfaz simple.

Pero alimentar la inteligencia artificial “todavía sigue siendo una tarea muy técnica”, reconoce. “Estamos trabajando para simplificarla”.

El cortometraje con que se probó la herramienta lleva por título “El testigo” y su director es Alberto Kampmann, graduado en ingeniería de telecomunicación por la ETSIT.

Sus protagonistas portan un objeto fantástico, en forma de barra cilíndrica, para el que había que imaginar un sonido.

“Alimenté la inteligencia artificial con toda clase de elementos que pudieran cuadrar: sonidos de agua, mareas, ruidos electromagnéticos grabados en cacharros de mi laboratorio, sónar de submarinos, cerillas encendiéndose, pajaritos piando…”, explica Cámara.

“Al cabo de un rato jugando con el software, casi como si estuviéramos mezclando plastilina, encontramos varios sonidos que nos gustaron.

Los grabamos y los enviamos a postproducción para que los integrasen en el cortometraje”.

Fuente: ETSIT