Investigadores de Stanford Engineering han desarrollado un modelo entrenado con IA para recrear con precisión los movimientos de las manos de pianistas de élite y las tensiones físicas que soportan mientras tocan.

Los pianistas profesionales pasan incontables horas frente a las teclas, perfeccionando su técnica.

Para las personas con manos más pequeñas, esta dedicación puede tener un costo físico.

Los estiramientos repetidos para alcanzar teclas distantes en un acorde pueden tensar los músculos y las articulaciones y provocar tendinitis, síndrome del túnel carpiano y otras lesiones.

Investigadores de Stanford están trabajando para comprender las fuerzas involucradas en los movimientos de las manos de los pianistas de élite y cómo cambian con diferentes tamaños de mano y anchos de teclado.

Los investigadores de Stanford Engineering presentaron un modelo entrenado con IA que puede recrear los movimientos de las manos necesarios para tocar piezas musicales complicadas y las tensiones físicas a las que están sometidas esas manos.

Este es el primer paso en un esfuerzo por reducir el riesgo de lesiones a largo plazo en los pianistas y probar soluciones (como teclados más estrechos) que podrían hacer que tocar el piano sea más equitativo para todos.

“Nunca esperaríamos que un atleta de clase mundial compita con un equipo que no se ajuste a su cuerpo.

Sin embargo, pedimos a los pianistas, en particular a las mujeres, que se adapten a un diseño único que nunca se diseñó pensando en ellas“, dijo Elizabeth Schumann, directora de estudios de teclado de Billie Bennet Achilles en Stanford y coautora del artículo.

“Podemos utilizar investigaciones como esta para remodelar el futuro de la interpretación y hacerlo más sostenible”.

El teclado de piano moderno fue diseñado en el siglo XIX teniendo en cuenta al hombre europeo promedio.

Hoy, se estima que el 87% de las mujeres adultas y el 24% de los hombres adultos tienen manos que son más pequeñas de lo ideal para el piano estándar.

El uso de métodos tradicionales para estudiar los impactos de las manos más pequeñas requeriría seguir a una cohorte de pianistas durante décadas, y aún podría ser difícil cuantificar los riesgos de lesiones o probar soluciones.

En lugar de ello, los investigadores han grabado los movimientos de las manos de pianistas profesionales y están utilizando inteligencia artificial para predecir cómo se moverían manos de distintos tamaños para tocar nueva música.

Schumann y sus colegas reclutaron a 15 pianistas de élite para tocar un total de 10 horas de música mientras las cámaras filmaban sus manos desde todos los ángulos.

Los investigadores no podían colocar ningún sensor en los pianistas sin interferir potencialmente con su interpretación, por lo que utilizaron técnicas avanzadas de visión artificial para combinar los videos y reconstruir los movimientos de las manos de los pianistas en tres dimensiones.

Utilizaron un procesamiento adicional para asegurarse de que esos movimientos estuvieran perfectamente sincronizados con el audio.

“La calidad de los datos que pudimos lograr no tiene precedentes“, dijo Karen Liu, profesora de informática en Stanford y autora principal del artículo.

“No es solo que los movimientos 3D reconstruidos sean precisos y limpios; la calidad de la interpretación en sí es realmente notable.

Pudimos capturar diversos movimientos de un grupo de músicos talentosos que tocaban a un alto nivel; nunca había visto un conjunto de datos como ese en el pasado“.

Roucheng Wang, un estudiante de posgrado en el laboratorio de Liu, y Pei Xu, un investigador postdoctoral, utilizaron este conjunto de datos para entrenar un modelo para generar con precisión nuevos datos de interpretación de piano.

Cuando le dieron al modelo una partitura que nunca había visto, como “Para Elisa” de Beethoven, el modelo pudo proporcionar los movimientos de mano en 3D correctos necesarios para tocar la pieza, utilizando un piano simulado para generar sonido.

“Me quedé tan sorprendido por la precisión con la que este modelo podía simular la técnica de nivel de élite”, dijo Schumann. “Es realmente increíble”.

Este modelo es solo el primer paso para Liu, Schumann y sus colegas. Por el momento, el modelo puede simular físicamente los movimientos de la mano, pero no simula los músculos y tendones que crean esos movimientos ni la tensión a la que están sometidos.

“Todavía no estamos en el nivel de biomecánica, donde el accionamiento de las manos es generado por los músculos; actualmente nuestro modelo es más como un robot que genera directamente el torque en las articulaciones“, dijo Liu.

“Con el tiempo, nuestro modelo debe ser capaz de predecir el nivel de tensión de los músculos y el potencial de lesiones”.

Los investigadores están trabajando actualmente para añadir estas capas a su modelo de modo que puedan usarlo para ayudar a los pianistas, especialmente a aquellos con manos pequeñas, a evitar lesiones.

También están adaptando su trabajo para modelar los movimientos de otros músicos diestros.

Han aplicado algunas de las mismas técnicas a un conjunto de datos existente de movimientos de manos de guitarristas muy hábiles.

“Con datos de alta calidad, también podríamos modelar los movimientos 3D necesarios para otros tipos de interpretación musical”, dijo Liu.

“Este no es un modelo que reemplaza a las personas: estamos trabajando con músicos para ayudar a comprender y resolver problemas.

Este proyecto tiene como objetivo hacer avanzar a las personas, y la IA es solo una herramienta para eso”.

Fuente: Tech Xplore

Artículos relacionados:

Inteligencia artificial podría ayudar a predecir la ubicación de las réplicas de un terremoto Inteligencia artificial en vehículos para reducir el consumo de combustible Parche similar al origami podría ayudar a los cirujanos robot a reparar lesiones internas Inteligencia artificial usa cambios en la señal WiFi para ayudar a identificar problemas respiratorios Inteligencia artificial detecta enfermedades oculares y el riesgo de Parkinson a partir de imágenes de la retina Astrónomos usan inteligencia artificial para reducir el tiempo de análisis de meses a segundos