Robots ahora pueden mapear una escena e identificar objetos para completar una serie de tareas

Imagínese tener que ordenar una cocina desordenada, empezando por una encimera llena de paquetes de salsa. Si su objetivo es limpiar la encimera, puede barrer los paquetes en grupo.

Sin embargo, si quisiera seleccionar primero los paquetes de mostaza antes de tirar el resto, los clasificaría de forma más discriminada, por tipo de salsa.

Y si, entre las mostazas, tuviera ganas de Grey Poupon, encontrar esta marca específica implicaría una búsqueda más cuidadosa.

Ingenieros del MIT han desarrollado un método que permite a los robots tomar decisiones igualmente intuitivas y relevantes para la tarea.

El nuevo enfoque del equipo, llamado Clio, permite a un robot identificar las partes de una escena que importan, dadas las tareas en cuestión.

Con Clio, un robot recibe una lista de tareas descritas en lenguaje natural y, basándose en ellas, determina el nivel de granularidad necesario para interpretar su entorno y “recordar” solo las partes de una escena que son relevantes.

En experimentos reales que abarcaron desde un cubículo desordenado hasta un edificio de cinco pisos en el campus del MIT, el equipo utilizó Clio para segmentar automáticamente una escena en diferentes niveles de granularidad, basándose en un conjunto de tareas especificadas en indicaciones en lenguaje natural como “mover estante de revistas” y “traer botiquín de primeros auxilios“.

El equipo también ejecutó Clio en tiempo real en un robot cuadrúpedo.

Mientras el robot exploraba un edificio de oficinas, Clio identificaba y mapeaba solo aquellas partes de la escena que se relacionaban con las tareas del robot (como recuperar un juguete para perros mientras ignoraba pilas de material de oficina), lo que le permitía agarrar los objetos de interés.

Clio recibe su nombre de la musa griega de la historia, por su capacidad de identificar y recordar solo los elementos que importan para una tarea determinada.

Los investigadores prevén que Clio sería útil en muchas situaciones y entornos en los que un robot tendría que examinar y comprender rápidamente su entorno en el contexto de su tarea asignada.

“La búsqueda y el rescate son la aplicación que motiva este trabajo, pero Clio también puede impulsar robots domésticos y robots que trabajan en una fábrica junto con humanos“, dice Luca Carlone, profesor asociado en el Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro), investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS) y director del Laboratorio SPARK del MIT.

“En realidad, se trata de ayudar al robot a comprender el entorno y lo que tiene que recordar para llevar a cabo su misión”.

Los enormes avances en los campos de la visión artificial y el procesamiento del lenguaje natural han permitido a los robots identificar objetos en su entorno.

Pero hasta hace poco, los robots solo podían hacerlo en escenarios de “conjunto cerrado“, donde están programados para trabajar en un entorno cuidadosamente seleccionado y controlado, con un número finito de objetos que el robot ha sido entrenado previamente para reconocer.

En los últimos años, los investigadores han adoptado un enfoque más “abierto” para permitir que los robots reconozcan objetos en entornos más realistas.

En el campo del reconocimiento en entornos abiertos, los investigadores han aprovechado las herramientas de aprendizaje profundo para construir redes neuronales que pueden procesar miles de millones de imágenes de Internet, junto con el texto asociado a cada imagen (como la foto de un perro en Facebook de un amigo, con el título “¡Conoce a mi nuevo cachorro!”).

A partir de millones de pares de imágenes y texto, una red neuronal aprende y luego identifica aquellos segmentos de una escena que son característicos de ciertos términos, como un perro.

Un robot puede aplicar esa red neuronal para detectar un perro en una escena totalmente nueva.

Pero aún queda un desafío en cuanto a cómo analizar una escena de una manera útil que sea relevante para una tarea en particular.

“Los métodos típicos elegirán un nivel de granularidad arbitrario y fijo para determinar cómo fusionar segmentos de una escena en lo que se puede considerar como un ‘objeto'”, dice Maggio.

“Sin embargo, la granularidad de lo que llamamos un ‘objeto’ está realmente relacionada con lo que el robot tiene que hacer.

Si esa granularidad se fija sin tener en cuenta las tareas, entonces el robot puede terminar con un mapa que no sea útil para sus tareas”.

Con Clio, el equipo del MIT se propuso permitir que los robots interpretaran su entorno con un nivel de granularidad que se pudiera ajustar automáticamente a las tareas en cuestión.

Por ejemplo, dada la tarea de mover una pila de libros a un estante, el robot debería poder determinar que toda la pila de libros es el objeto relevante para la tarea.

Del mismo modo, si la tarea fuera mover solo el libro verde del resto de la pila, el robot debería distinguir el libro verde como un único objeto objetivo e ignorar el resto de la escena, incluidos los otros libros de la pila.

El enfoque del equipo combina la visión artificial de última generación y grandes modelos de lenguaje que comprenden redes neuronales que establecen conexiones entre millones de imágenes de código abierto y texto semántico.

También incorporan herramientas de mapeo que dividen automáticamente una imagen en muchos segmentos pequeños, que pueden introducirse en la red neuronal para determinar si ciertos segmentos son semánticamente similares.

Los investigadores luego aprovechan una idea de la teoría clásica de la información llamada “cuello de botella de información“, que utilizan para comprimir una serie de segmentos de imagen de una manera que selecciona y almacena segmentos que son semánticamente más relevantes para una tarea determinada.

“Por ejemplo, digamos que hay una pila de libros en la escena y mi tarea es simplemente obtener el libro verde.

En ese caso, empujamos toda esta información sobre la escena a través de este cuello de botella y terminamos con un grupo de segmentos que representan el libro verde“, explica Maggio.

“Todos los demás segmentos que no son relevantes simplemente se agrupan en un grupo que podemos simplemente eliminar. Y nos quedamos con un objeto con la granularidad adecuada que se necesita para respaldar mi tarea“.

Los investigadores probaron a Clio en diferentes entornos del mundo real.

“Lo que pensamos que sería un experimento realmente práctico sería ejecutar Clio en mi apartamento, donde no hice ninguna limpieza de antemano“, dice Maggio.

El equipo elaboró ​​una lista de tareas en lenguaje natural, como “mover una pila de ropa” y luego aplicó Clio a imágenes del desordenado apartamento de Maggio.

En estos casos, Clio pudo segmentar rápidamente escenas del apartamento y pasar los segmentos por el algoritmo Information Bottleneck para identificar los segmentos que componían la pila de ropa.

También ejecutaron Clio en el robot cuadrúpedo de Boston Dynamic, Spot.

Le dieron al robot una lista de tareas para completar y, mientras el robot exploraba y mapeaba el interior de un edificio de oficinas, Clio se ejecutaba en tiempo real en una computadora de a bordo montada en Spot para seleccionar segmentos en las escenas mapeadas que se relacionaban visualmente con la tarea dada.

El método generó un mapa superpuesto que mostraba únicamente los objetos objetivo, que luego el robot utilizó para acercarse a los objetos identificados y completar físicamente la tarea.

“Ejecutar Clio en tiempo real fue un gran logro para el equipo”, dice Maggio.

“Muchos trabajos previos pueden llevar varias horas de ejecución”.

En el futuro, el equipo planea adaptar Clio para que pueda manejar tareas de nivel superior y aprovechar los avances recientes en representaciones de escenas visuales fotorrealistas.

“Seguimos dándole a Clio tareas que son algo específicas, como ‘encontrar una baraja de cartas‘”, dice Maggio.

“Para búsqueda y rescate, es necesario darle tareas de nivel más alto, como ‘encontrar sobrevivientes’ o ‘recuperar la energía’.

Por lo tanto, queremos llegar a una comprensión más a nivel humano de cómo realizar tareas más complejas”.

Fuente: IEEE Xplore