Herramienta con IA crea interfaces sencillas para realidad virtual y aumentada

Un artículo presenta EgoTouch, una herramienta que utiliza inteligencia artificial para controlar interfaces AR/VR tocando la piel con un dedo.

El equipo quería diseñar un control que proporcionara retroalimentación táctil utilizando solo los sensores que vienen con un casco AR/VR estándar.

OmniTouch, un método anterior desarrollado por Chris Harrison, profesor asociado en el HCII y director del Future Interfaces Group, estuvo cerca.

Pero ese método requería una cámara especial, tosca y con detección de profundidad.

Vimal Mollyn, un estudiante de doctorado asesorado por Harrison, tuvo la idea de utilizar un algoritmo de aprendizaje automático para entrenar a las cámaras normales para que reconocieran el tacto.

“Prueba a tomar tu dedo y observa lo que sucede cuando tocas tu piel con él.

Notarás que hay sombras y deformaciones cutáneas locales que solo ocurren cuando tocas la piel”, dijo Mollyn.

“Si podemos verlas, entonces podemos entrenar un modelo de aprendizaje automático para que haga lo mismo, y eso es básicamente lo que hicimos”.

Mollyn recopiló los datos para EgoTouch utilizando un sensor táctil personalizado que se colocó a lo largo de la parte inferior del dedo índice y la palma.

El sensor recopiló datos sobre diferentes tipos de toque con diferentes fuerzas mientras permanecía invisible para la cámara.

Luego, el modelo aprendió a correlacionar las características visuales de las sombras y las deformidades de la piel con el tacto y la fuerza sin anotaciones humanas.

El equipo amplió su recopilación de datos de entrenamiento para incluir a 15 usuarios con diferentes tonos de piel y densidades de cabello y recopiló horas de datos en muchas situaciones, actividades y condiciones de iluminación.

EgoTouch puede detectar el tacto con más del 96% de precisión y tiene una tasa de falsos positivos de alrededor del 5%.

Reconoce la presión hacia abajo, el levantamiento y el arrastre.

El modelo también puede clasificar si un toque fue suave o fuerte con una precisión del 98%.

“Eso puede ser realmente útil para tener una función de clic derecho en la piel”, dijo Mollyn.

Detectar variaciones en el tacto podría permitir a los desarrolladores imitar los gestos de la pantalla táctil en la piel.

Por ejemplo, un teléfono inteligente puede reconocer el desplazamiento hacia arriba o hacia abajo en una página, el zoom, el deslizamiento hacia la derecha o la pulsación y el mantenimiento de un icono.

Para traducir esto a una interfaz basada en la piel, la cámara debe reconocer las diferencias sutiles entre el tipo de toque y la fuerza del mismo.

Las precisiones fueron aproximadamente las mismas en diversos tonos de piel y densidades de vello, y en diferentes áreas de la mano y el antebrazo, como la parte delantera del brazo, la parte trasera del brazo, la palma y el dorso de la mano.

El sistema no funcionó bien en áreas óseas como los nudillos.

“Probablemente se deba a que no había tanta deformación de la piel en esas áreas“, dijo Mollyn.

“Como diseñador de interfaz de usuario, lo que puede hacer es evitar colocar elementos en esas regiones”.

Mollyn está explorando formas de utilizar cámaras de visión nocturna e iluminación nocturna para permitir que el sistema EgoTouch funcione en la oscuridad.

También está colaborando con investigadores para extender este método de detección táctil a superficies distintas a la piel.

“Por primera vez, tenemos un sistema que simplemente utiliza una cámara que ya está en todos los cascos.

Nuestros modelos no requieren calibración y funcionan desde el primer momento“, dijo Mollyn.

“Ahora podemos basarnos en trabajos anteriores sobre interfaces sobre la piel y hacerlas realidad”.

Fuente: ACM