Robot musical capaz de tocar el piano junto a un humano

Un robot musical que puede tocar el piano junto a un humano creando un acompañamiento armónico en tiempo real, ha ganado un premio en la Conferencia del Centro para la Inteligencia Artificial Inspirada en los Humanos (CHIA) de 2024.

Doctorado en Ingeniería de Cambridge el estudiante Huijiang Wang del Laboratorio de Robótica Bioinspirada (BIRL), Departamento de Ingeniería, ganó el Premio a la Mejor Demostración por su “Robot de Armonía”, una mano antropomórfica personalizada unida a un brazo robótico, con sus “dedos” preestablecidos en una pose de tocar acordes.

Con el título “Tocando el piano de manera cooperativa entre humanos y robots con acompañamiento musical en tiempo real basado en el aprendizaje“, Huijiang y sus coautores, el Dr. Xiaoping Zhang y el Profesor Fumiya Iida, presentan un robot colaborativo que utiliza el aprendizaje automático para predecir las progresiones de acordes de piano adecuadas en función de la forma de tocar el piano de un humano.

Los experimentos demostraron una tasa de precisión del 93% e implicaron que el robot aprendiera acordes inspirados en la música pop.

Mientras tanto, un controlador adaptativo al comportamiento permite que se produzca una sincronización temporal perfecta, de modo que el robot colaborativo puede generar un acompañamiento de acordes armónicos para la melodía tocada por el humano en tiempo real.

En efecto, tanto el humano como el robot están tocando un dúo.

La configuración robótica utiliza un movimiento vertical de la mano antropomórfica personalizada a través de un brazo robótico, lo que permite tocar las teclas del piano.

Mientras que un movimiento horizontal independiente permite cambiar de acordes, lo que amplía las capacidades expresivas del robot en las tareas de interpretación del piano.

“Hemos desarrollado un robot musical que puede tocar el piano junto con un humano, creando buenos duetos en tiempo real“, dijo Huijiang Wang.

“Nuestro robot ‘escucha’ la melodía que toca el humano y utiliza técnicas de aprendizaje automático para predecir los próximos acordes, lo que garantiza que la música se mantenga armoniosa”.

Añadió:

“Mediante el uso de un sistema de control especial, el robot hace coincidir su tiempo con el del músico humano, lo que hace que la interpretación esté sincronizada.

También tenemos un sistema que comprueba lo bien que el robot y el humano están tocando juntos, lo que garantiza una colaboración de alta calidad”.

El trabajo futuro incluirá mejorar la diversidad del acompañamiento musical basado en el robot incorporando más acordes y mejorando la destreza de la mano antropomórfica para permitir que su posición y orientación se adapten aún más, lo que es ideal para presionar una gama más amplia de acordes.

El profesor Iida afirmó:

“Con los avances en IA, ahora pretendemos ampliar los límites de la robótica en escenarios emocionalmente conscientes, como las actuaciones artísticas y de entretenimiento, donde los robots deben ser capaces de captar, interpretar y responder a las señales emocionales de sus homólogos humanos.

“El desarrollo de un algoritmo de improvisación capaz de gestionar recursos computacionales intensivos, al tiempo que preserva la precisión de la predicción de acordes, también es esencial para futuros esfuerzos en este campo”.

“Nuestra investigación sobre el robot Harmony avanza en la integración de la robótica blanda en roles creativos y colaborativos“, afirmó Huijiang.

“Al aprovechar el aprendizaje automático de vanguardia y la robótica blanda, pretendemos lograr una cooperación perfecta entre humanos y robots en el futuro, lo que permitirá a los robots responder de forma adaptativa en escenarios dinámicos del mundo real“.

Fuente: IEEE Xplore