Sistema integrado de detección y aprendizaje multimodal podría dar a los robots nuevas capacidades

Para ayudar a los humanos con las tareas domésticas y otras tareas manuales cotidianas, los robots deberían poder manipular eficazmente objetos que varían en composición, forma y tamaño.

Las habilidades de manipulación de los robots han mejorado significativamente en los últimos años, en parte debido al desarrollo de cámaras y sensores táctiles cada vez más sofisticados.

Investigadores de la Universidad de Columbia han desarrollado un nuevo sistema que captura simultáneamente información visual y táctil.

El sensor táctil que desarrollaron podría integrarse en pinzas y manos robóticas, para mejorar aún más las habilidades de manipulación de robots con diferentes estructuras corporales.

“Los humanos perciben el entorno a partir de múltiples modalidades sensoriales, entre las que el tacto desempeña un papel fundamental en la comprensión de las interacciones físicas“, dijo Yunzhu Li, autor principal del artículo.

“Nuestro objetivo es dotar a los robots de capacidades similares, permitiéndoles percibir el entorno a través de la visión y el tacto para tareas de manipulación robótica de grano fino”.

Como parte de su estudio, los investigadores se propusieron desarrollar un sistema de detección multimodal que pudiera utilizarse para recopilar datos visuales, que pueden utilizarse para estimar la posición de los objetos en su campo de visión y su geometría, así como información táctil, como la ubicación del contacto, la fuerza y ​​los patrones de interacción local.

El sistema integrado de detección y aprendizaje multimodal que desarrollaron, llamado 3D-ViTac, podría brindar a los robots nuevas capacidades de detección, lo que les permitiría abordar mejor las tareas de manipulación del mundo real.

“En comparación con las soluciones de vanguardia existentes, especialmente los sensores ópticos, nuestro sensor es tan delgado como una hoja de papel, flexible, escalable y más robusto para el uso a largo plazo y la recopilación de datos a gran escala”, explicó Li.

“Junto con la observación visual, desarrollamos un marco de imitación de extremo a extremo que permite a los robots realizar una variedad de tareas de manipulación, demostrando mejoras significativas en las interacciones seguras con elementos frágiles y tareas de largo plazo que involucran manipulación en la mano”.

Li y sus colegas probaron su sensor y el marco de aprendizaje por imitación de extremo a extremo que desarrollaron en una serie de experimentos empleando un sistema robótico real.

En concreto, integraron dos de sus dispositivos de detección en forma de lámina en cada una de las manos en forma de aleta de una pinza robótica.

A continuación, el equipo probó el rendimiento de la pinza en cuatro tareas de manipulación difíciles, entre ellas cocinar un huevo al vapor, colocar uvas en un plato, agarrar una llave hexagonal y servir un sándwich.

Los resultados de estas pruebas iniciales fueron muy prometedores, ya que su sensor parecía mejorar la capacidad de la pinza para completar con éxito todas las tareas.

“Demostramos que nuestro marco de aprendizaje por imitación visotáctil propuesto permite que incluso los robots de bajo costo realicen tareas de manipulación precisas“, afirmó Li.

“Supera significativamente los enfoques basados ​​únicamente en la visión, en particular en el manejo de objetos frágiles y en el logro de una alta precisión en la manipulación de grano fino”.

El nuevo sensor desarrollado por este equipo de investigadores podría implementarse pronto en otros sistemas robóticos y evaluarse en una gama más amplia de tareas de manipulación de objetos que requieren altos niveles de precisión.

Mientras tanto, Li y sus colegas planean desarrollar métodos de simulación y estrategias de integración que podrían hacer que su sensor sea más fácil de aplicar y probar en otros robots.

“En nuestros próximos estudios, nuestro objetivo es desarrollar técnicas de simulación para señales táctiles, explorar formas de integrar el sensor en manos robóticas diestras y superficies de mayor escala (por ejemplo, piel de robot) y democratizar la detección táctil en robótica”, agregó Li.

“Esto facilitará la recopilación de datos a gran escala y contribuirá a modelos de base robótica multimodales que comprendan mejor las interacciones físicas a través del tacto”.

Fuente: Columbia Engineering