Sistema neuromórfico mejora la visión de máquinas en entornos de iluminación extrema

Comparta este Artículo en:

Un equipo de investigación ha desarrollado recientemente un sistema de control de exposición neuromórfico (NEC) que mejora la visión de las máquinas en condiciones de variaciones extremas de iluminación.

Este sistema de inspiración biológica imita la visión periférica humana para lograr una velocidad y una solidez sin precedentes en entornos de percepción dinámica.

El equipo de investigación estuvo dirigido por el profesor Jia Pan y el profesor Yifan Evan Peng del Departamento de Ciencias de la Computación y el Departamento de Ingeniería Eléctrica y Electrónica de la Facultad de Ingeniería de la Universidad de Hong Kong (HKU), en colaboración con un investigador de la Universidad Nacional de Australia.

Los sistemas tradicionales de exposición automática (AE) se basan en la retroalimentación iterativa de la imagen, lo que crea un dilema del tipo el huevo y la gallina que falla en cambios repentinos de brillo (por ejemplo, túneles, deslumbramiento).

El sistema NEC resuelve esto integrando cámaras de eventos (sensores que capturan cambios de brillo por pixel como “eventos” asincrónicos) con un novedoso algoritmo Trilinear Event Double Integral (TEDI).

Este enfoque: opera a 130 millones de eventos/seg en una sola CPU, lo que permite la implementación en el borde.

“Al igual que nuestras pupilas se adaptan instantáneamente a la luz, NEC imita la sinergia biológica entre las vías retinianas“, explicó Shijie Lin, el primer autor del artículo.

“Al fusionar los flujos de eventos con las métricas de luz física, evitamos los cuellos de botella tradicionales para ofrecer una visión independiente de la iluminación”.

En las pruebas, el equipo ha validado NEC en escenarios de misión crítica:

Conducción autónoma: precisión de detección mejorada (mAP +47,3 %) cuando los vehículos salen de los túneles hacia la luz solar cegadora.

Realidad aumentada (RA): se logró una estimación de pose (PCK) un 11 % mayor para el seguimiento de manos bajo luces quirúrgicas.

Reconstrucción 3D: se permitió SLAM continuo en entornos sobreexpuestos donde fallan los métodos convencionales.

Asistencia médica de RA: se mantuvo una visualización intraoperatoria clara a pesar de los ajustes dinámicos de los focos.

El profesor Pan afirmó:

“Este avance representa un salto significativo en la visión artificial al cerrar la brecha entre los principios biológicos y la eficiencia computacional.

El sistema NEC no solo aborda las limitaciones del control de exposición tradicional, sino que también allana el camino para sistemas de visión más adaptables y resilientes en aplicaciones del mundo real, desde vehículos autónomos hasta robótica médica“.

El profesor Peng comentó:

“Nuestro trabajo colaborativo ha sido fundamental para ampliar los límites de la ingeniería neuromórfica.

Al aprovechar la detección basada en eventos y los algoritmos bioinspirados, hemos creado un sistema que no solo es más rápido sino también más robusto en condiciones extremas.

Esto es un testimonio del poder de la investigación interdisciplinaria para resolver diversos desafíos complejos de ingeniería”.

A largo plazo, el paradigma NEC ofrece un nuevo esquema de procesamiento de cuadros de eventos que reduce la carga de procesamiento de eventos/imágenes de alta resolución e incorpora principios bioplausibles en el control de bajo nivel de los ojos de la máquina.

Esto abre nuevas vías para el diseño de cámaras, el control del sistema y los algoritmos posteriores.

El éxito del equipo en la incorporación de la sinergia neuromórfica en varios sistemas es un hito que puede inspirar muchos procesos de procesamiento óptico/de imágenes/neuromórfico e implica implicaciones económicas y prácticas directas para la industria.

Fuente: Nature communications