Inteligencia artificial crea audio a partir de texto

Los generadores de imágenes a partir de texto parecen haber llegado para quedarse.

Si queremos “una pintura de un lindo gatito negro en una ciudad con estilo cyberpunk” y no queremos ponernos manos a la obra con lápices o pinceles, podemos resignar parte del proceso creativo tradicional y pedirle a DALL-E, Midjourney o Stable Diffusion que haga el trabajo por nosotros.

Esto es algo sorprendente si tenemos en cuenta que hace tan solo unos años era algo inimaginable.

No obstante, los avances en el campo de la inteligencia artificial son cada vez mayores.

Hace unos meses empezaron a aparecer los primeros generadores de videos a partir de texto, y ahora es el turno de darle la bienvenida a AudioGen, un generador de audio. Un “DALL-E”, del sonido.

AudioGen es un programa de inteligencia artificial que genera sonidos a partir de descripciones textuales.

Según explican los investigadores de Meta y de la Universidad Hebrea de Jerusalén, que son los responsables del proyecto, se utiliza un modelo generativo autorregresivo para interpretar los pedidos en lenguaje natural y generar desde cero muestras de audio.

Como podemos escuchar en el audio compartido por el investigador Felix Kreuk, el programa de inteligencia artificial ha sido capaz de generar sonidos relacionados a “alguien silbando mientras el viento sopla”, “un hombre habla mientras los pájaros cantan y los perros ladran”, “sirenas y un motor zumbando se acercan y pasan”, entre otros pedidos realizados en lenguaje natural.

De acuerdo con los investigadores, este modelo de IA supera inconvenientes de audio complejos.

Por ejemplo, puede distinguir entre diferentes tipos de sonidos y separarlos acústicamente.

Por ejemplo, puede filtrar a dos personas que hablan al mismo tiempo.

Y se trata de una característica elemental para poder generar una amplia variedad de muestras de audio precisas.

No sabemos específicamente el conjunto de datos se ha utilizado, pero los miembros el proyecto dicen que entrenaron el modelo “utilizando diez conjuntos de datos de audio y etiquetas coincidentes”.

Recordemos que muchos modelos de IA son entrenados con conjuntos o subconjuntos de datos que contienen creaciones con derechos de autor, lo que está generando debates en relación al copyright.

Cabe señalar que el proyecto todavía está siendo desarrollado a puertas cerradas.

No obstante, los investigadores pretenden ponerlo a disposición del público.

Así, próximamente publicarán el código de AudioGen y demás detalles técnicos en su perfil de GitHub.

Además, explican, seguirán trabajando para mejorar las capacidades del programa.

Fuente: AudioGen