Robots aprenden a percibir objetos mediante vibraciones acústicas

Imagínese sentado en una sala de cine a oscuras y preguntándose cuánta soda queda en su enorme vaso. En lugar de abrir la tapa y mirar, levanta el vaso y lo agita un poco para escuchar cuánto hielo hay dentro, lo que le da una indicación decente de si necesitará que le rellenen el vaso gratis.

Al dejar la bebida en la mesa, se pregunta distraídamente si el apoyabrazos está hecho de madera real.

Sin embargo, después de darle unos cuantos golpecitos y escuchar un eco hueco, decide que debe estar hecho de plástico.

Esta capacidad de interpretar el mundo a través de las vibraciones acústicas que emanan de un objeto es algo que hacemos sin pensar.

Y es una capacidad que los investigadores están a punto de aplicar a los robots para aumentar su conjunto de capacidades sensoriales, que crece rápidamente.

La nueva investigación de la Universidad de Duke detalla un sistema denominado SonicSense que permite a los robots interactuar con su entorno de formas que antes estaban limitadas a los humanos.

“Los robots de hoy dependen principalmente de la visión para interpretar el mundo“, explicó Jiaxun Liu, autor principal del artículo y estudiante de doctorado de primer año en el laboratorio de Boyuan Chen, profesor de ingeniería mecánica y ciencia de los materiales en Duke.

“Queríamos crear una solución que pudiera funcionar con objetos complejos y diversos que se encuentran a diario, lo que daría a los robots una capacidad mucho más rica para ‘sentir’ y comprender el mundo”.

SonicSense cuenta con una mano robótica con cuatro dedos, cada uno equipado con un micrófono de contacto integrado en la punta del dedo.

Estos sensores detectan y registran las vibraciones generadas cuando el robot toca, agarra o sacude un objeto.

Y como los micrófonos están en contacto con el objeto, le permiten al robot ignorar los ruidos ambientales.

En función de las interacciones y las señales detectadas, SonicSense extrae características de frecuencia y utiliza su conocimiento previo, junto con los últimos avances en IA, para averiguar de qué material está hecho el objeto y su forma 3D.

Si se trata de un objeto que el sistema nunca ha visto antes, puede que sean necesarias 20 interacciones diferentes para que el sistema llegue a una conclusión.

Pero si se trata de un objeto que ya está en su base de datos, puede identificarlo correctamente en tan solo cuatro.

“SonicSense ofrece a los robots una nueva forma de oír y sentir, muy similar a la de los humanos, que puede transformar la forma en que los robots actuales perciben e interactúan con los objetos“, dijo Chen.

“Si bien la visión es esencial, el sonido agrega capas de información que pueden revelar cosas que el ojo podría pasar por alto”.

En el artículo y las demostraciones, Chen y su laboratorio muestran una serie de capacidades habilitadas por SonicSense.

Al girar o agitar una caja llena de dados, puede contar el número que contiene, así como su forma.

Al hacer lo mismo con una botella de agua, puede saber cuánto líquido contiene.

Y al tocar el exterior de un objeto, de forma muy similar a cómo los humanos exploran los objetos en la oscuridad, puede construir una reconstrucción 3D de la forma del objeto y determinar de qué material está hecho.

Si bien SonicSense no es el primer intento de utilizar este enfoque, va más allá y funciona mejor que el trabajo anterior al utilizar cuatro dedos en lugar de uno, micrófonos táctiles que eliminan el ruido ambiental y técnicas avanzadas de inteligencia artificial.

Esta configuración permite que el sistema identifique objetos compuestos de más de un material con geometrías complejas, superficies transparentes o reflectantes y materiales que son un desafío para los sistemas basados ​​en visión.

“Si bien la mayoría de los conjuntos de datos se recopilan en entornos de laboratorio controlados o con intervención humana, necesitábamos que nuestro robot interactuara con los objetos de forma independiente en un entorno de laboratorio abierto“, dijo Liu.

“Es difícil replicar ese nivel de complejidad en simulaciones. Esta brecha entre los datos controlados y los del mundo real es crítica, y SonicSense la cierra al permitir que los robots interactúen directamente con las realidades diversas y desordenadas del mundo físico“.

Estas capacidades hacen de SonicSense una base sólida para entrenar a los robots a percibir objetos en entornos dinámicos y no estructurados.

Lo mismo ocurre con su costo: utilizando los mismos micrófonos de contacto que utilizan los músicos para grabar el sonido de las guitarras, la impresión 3D y otros componentes disponibles comercialmente, los costos de construcción se mantienen en poco más de 200 dólares.

En el futuro, el grupo está trabajando para mejorar la capacidad del sistema de interactuar con múltiples objetos.

Al integrar algoritmos de seguimiento de objetos, los robots podrán manejar entornos dinámicos y desordenados, acercándolos a una adaptabilidad similar a la de los humanos en tareas del mundo real.

Otro avance clave radica en el diseño de la propia mano robótica.

“Esto es sólo el principio. En el futuro, imaginamos que SonicSense se utilizará en manos robóticas más avanzadas con habilidades de manipulación diestras, lo que permitirá a los robots realizar tareas que requieren un sentido del tacto sutil“, dijo Chen.

“Estamos entusiasmados por explorar cómo se puede seguir desarrollando esta tecnología para integrar múltiples modalidades sensoriales, como la presión y la temperatura, para interacciones aún más complejas”.

Fuente: arXiv