Desbloqueando la “caja negra”: revelan los pensamientos ocultos de la IA

Las redes neuronales profundas son un tipo de inteligencia artificial (IA) que imita la forma en que los cerebros humanos procesan la información, pero comprender cómo “piensan” estas redes ha sido un desafío durante mucho tiempo.

Ahora, investigadores de la Universidad de Kyushu han desarrollado un nuevo método para comprender cómo las redes neuronales profundas interpretan la información y la clasifican en grupos.

El estudio aborda la importante necesidad de garantizar que los sistemas de IA sean precisos y robustos y puedan cumplir con los estándares requeridos para un uso seguro.

Las redes neuronales profundas procesan la información en muchas capas, de manera similar a cómo los humanos resuelven un rompecabezas paso a paso.

La primera capa, conocida como capa de entrada, incorpora los datos sin procesar.

Las capas posteriores, llamadas capas ocultas, analizan la información.

Las primeras capas ocultas se centran en características básicas, como detectar bordes o texturas, como examinar piezas de rompecabezas individuales.

Las capas ocultas más profundas combinan estas características para reconocer patrones más complejos, como identificar un gato o un perro, similar a conectar piezas de rompecabezas para revelar el panorama general.

“Sin embargo, estas capas ocultas son como una caja negra cerrada: vemos la entrada y la salida, pero no está claro lo que sucede dentro”, dice Danilo Vasconcellos Vargas, profesor asociado de la Facultad de Ciencias de la Información e Ingeniería Eléctrica de la Universidad de Kyushu.

“Esta falta de transparencia se convierte en un problema grave cuando la IA comete errores, a veces provocados por algo tan pequeño como cambiar un solo pixel.

La IA puede parecer inteligente, pero comprender cómo llega a su decisión es clave para garantizar que sea confiable”.

Actualmente, los métodos para visualizar cómo la IA organiza la información se basan en la simplificación de datos de alta dimensión en representaciones 2D o 3D.

Estos métodos permiten a los investigadores observar cómo la IA clasifica los puntos de datos; por ejemplo, agrupa imágenes de gatos cerca de otros gatos y los separa de los perros. Sin embargo, esta simplificación tiene limitaciones críticas.

“Cuando simplificamos la información de alta dimensión en menos dimensiones, es como aplanar un objeto 3D para convertirlo en 2D: perdemos detalles importantes y no podemos ver la imagen completa.

Además, este método de visualización de cómo se agrupan los datos dificulta la comparación entre diferentes redes neuronales o clases de datos“, explica Vargas.

En este estudio, los investigadores desarrollaron un nuevo método, llamado método de distribución k*, que visualiza y evalúa con mayor claridad qué tan bien las redes neuronales profundas categorizan los elementos relacionados entre sí.

El modelo funciona asignando a cada punto de datos ingresado un “valor k” que indica la distancia al punto de datos no relacionado más cercano.

Un valor k alto significa que el punto de datos está bien separado (por ejemplo, un gato lejos de cualquier perro), mientras que un valor k* bajo sugiere una posible superposición (por ejemplo, un perro más cerca de un gato que de otros gatos).

Al observar todos los puntos de datos dentro de una clase, como los gatos, este enfoque produce una distribución de valores k* que proporciona una imagen detallada de cómo se organizan los datos.

“Nuestro método conserva el espacio dimensional superior, por lo que no se pierde información. Es el primer y único modelo que puede dar una visión precisa del ‘vecindario local’ alrededor de cada punto de datos“, enfatiza Vargas.

Usando su método, los investigadores revelaron que las redes neuronales profundas clasifican los datos en disposiciones agrupadas, fragmentadas o superpuestas.

En una disposición agrupada, los elementos similares (por ejemplo, los gatos) se agrupan estrechamente, mientras que los elementos no relacionados (por ejemplo, los perros) están claramente separados, lo que significa que la IA puede clasificar bien los datos.

Sin embargo, las disposiciones fragmentadas indican que los elementos similares están dispersos en un espacio amplio, mientras que las distribuciones superpuestas ocurren cuando los elementos no relacionados están en el mismo espacio, y ambas disposiciones hacen que los errores de clasificación sean más probables.

Vargas compara esto con un sistema de almacén:

“En un almacén bien organizado, los elementos similares se almacenan juntos, lo que hace que la recuperación sea fácil y eficiente.

Si los elementos están entremezclados, se vuelven más difíciles de encontrar, lo que aumenta el riesgo de seleccionar el elemento incorrecto”.

La IA se utiliza cada vez más en sistemas críticos como los vehículos autónomos y los diagnósticos médicos, donde la precisión y la fiabilidad son esenciales.

El método de distribución k* ayuda a los investigadores, e incluso a los legisladores, a evaluar cómo la IA organiza y clasifica la información, señalando posibles debilidades o errores.

Esto no solo respalda los procesos de legalización necesarios para integrar de forma segura la IA en la vida diaria, sino que también ofrece información valiosa sobre cómo “piensa” la IA.

Al identificar las causas fundamentales de los errores, los investigadores pueden perfeccionar los sistemas de IA para que no solo sean precisos sino también robustos, capaces de manejar datos borrosos o incompletos y adaptarse a condiciones inesperadas.

“Nuestro objetivo final es crear sistemas de IA que mantengan la precisión y la fiabilidad, incluso cuando se enfrentan a los desafíos de los escenarios del mundo real”, concluye Vargas.

Fuente: IEEE Xplore