Sistema de cocina robótico con inteligencia artificial fríe un huevo siguiendo una receta

Investigadores del Laboratorio de Robótica JSK de la Universidad de Tokio han desarrollado un sistema de cocina robótico con inteligencia artificial capaz de freír un huevo siguiendo una receta.

En pocas palabras, primero se introduce una descripción de la receta en el sistema y luego se convierte en la secuencia de funciones mediante un modelo de lenguaje grande (LLM).

El procedimiento de acción ejecutable se planifica mediante la planificación clásica de la descripción PDDL a partir de la secuencia.

Una vez que esto se completa, el robot realiza acciones de cocción mientras reconoce el cambio de estado de los ingredientes mediante el aprendizaje del reconocimiento del estado de los alimentos a partir de datos pequeños utilizando el modelo de lenguaje visual (VLM).

Todos los movimientos que ve se realizan utilizando trayectorias de acción predefinidas.

“Tuvimos éxito en experimentos en los que PR2, un robot con ruedas y dos brazos, realizó la cocción a partir de nuevas recetas organizadas en un entorno del mundo real, y confirmamos la eficacia del sistema propuesto“, dijeron los investigadores.

Fuente: Github