Creando una inteligencia artificial justa y precisa

Dos de las cualidades más difíciles de equilibrar en el mundo del aprendizaje automático son la imparcialidad y la precisión.

Los algoritmos optimizados para la precisión pueden perpetuar involuntariamente el sesgo contra grupos específicos, mientras que los que priorizan la imparcialidad pueden comprometer la precisión al clasificar incorrectamente algunos puntos de datos.

Con este desafío en mente, un equipo de CSAIL ha tomado la iniciativa de diseñar un marco de trabajo que permite un enfoque más matizado para equilibrar estas cualidades.

En lugar de forzar una decisión binaria al etiquetar todos los puntos de datos como “buenos” o “malos“, su marco de trabajo utiliza su algoritmo de clasificación de opciones de rechazo (ROC) que asigna una tercera categoría de “muestras rechazadas“, lo que le permite identificar instancias en las que el modelo podría ser menos seguro o donde las predicciones podrían conducir potencialmente a la injusticia.

Al rechazar estas instancias, el marco de trabajo puede reducir la probabilidad de resultados injustos para ciertos grupos (es decir, por edad o género) sin sacrificar drásticamente la precisión general.

Las instancias “rechazadas” también se pueden analizar más a fondo para comprender las posibles fuentes de sesgo en los datos o el modelo.

Esta información, a su vez, se puede utilizar para mejorar el modelo y el proceso de recopilación de datos para mitigar futuros sesgos.

El desarrollo del marco fue dirigido por el investigador del MIT y ex profesor Amar Gupta junto con la investigadora asociada Rashmi Nagpal y el estudiante de Ingeniería Mecánica Ariba Khan.

Gupta dice que los sistemas existentes a menudo se centran en optimizar solo la “justicia grupal“, asegurando la no discriminación entre los grupos protegidos.

Por el contrario, su marco integra tanto la justicia grupal como la justicia individual, lo que implica tratar a los usuarios individuales comparables de manera similar.

Por ejemplo, supongamos que se está utilizando un modelo de aprendizaje automático para predecir la probabilidad de aprobación de un préstamo para personas que solicitan una hipoteca.

La “justicia grupal” requiere que el modelo prediga la aprobación del préstamo a tasas similares tanto para hombres como para mujeres, lo que garantiza un tratamiento equitativo entre los géneros.

Por el contrario, la “justicia individual” significa que el modelo proporcionaría predicciones similares para personas con calificaciones comparables, independientemente de su edad, género o etnia.

El análisis experimental del equipo que comparó su marco basado en ROC con sistemas similares demostró su capacidad para lograr alta precisión y equidad.

En un conjunto de datos de puntuaciones de crédito alemanas, logró una precisión de más del 94%, lo que significa que el modelo debería proporcionar predicciones similares para personas con calificaciones y circunstancias comparables, independientemente de características sensibles como la edad, el género o la etnia.

Gupta dice que la mayoría de los estudios existentes que se han realizado en esta área han involucrado conjuntos de datos públicos, pero el equipo quería explorar conjuntos de datos más privados para mejorar la aplicabilidad de la eliminación de sesgos de los algoritmos que se utilizan de manera tan generalizada en tantos sectores industriales diferentes.

“Estos problemas de equidad y justicia no se limitan a una organización o una industria, ni a un solo factor aislado”, dice Gupta.

“Una herramienta como ROC realmente podría usarse en cualquier lugar donde necesite hacer juicios perspicaces sobre los datos que tiene, desde finanzas hasta atención médica”.

Los investigadores trabajaron en estrecha colaboración con colegas de Ernst and Young y otras empresas afiliadas a CSAIL para investigar un enfoque de toma de decisiones basado en el concepto económico de optimalidad de Pareto.

Este enfoque busca un estado de asignación de recursos en el que no se pueda mejorar un aspecto de un conjunto de soluciones (es decir, la precisión) sin degradar otro aspecto (la equidad).

Los investigadores desarrollaron específicamente una extensión de un marco llamado “Minimax Pareto Fairness” (MMPF), que utiliza una función de pérdida multiobjetivo que, nuevamente, combina elementos de equidad grupal e individual para lograr la optimalidad de Pareto.

El equipo probó su marco en varios conjuntos de datos de código abierto, incluidos los conjuntos de datos de ingresos del censo de adultos, COMPAS y crédito alemán, y mostró una reducción significativa en el equilibrio entre precisión y equidad en varias características sensibles.

El nuevo marco se centra en equilibrar la equidad y el rendimiento utilizando dos métricas de equidad, con planes de explorar más en el futuro.

Los investigadores apuntan a combinar métodos de capacitación con estrategias de preprocesamiento o posprocesamiento para mejorar los resultados.

Nagpal dice que los próximos pasos incluyen ajustar las compensaciones de equidad utilizando pesos diferenciales y refinar el proceso de reponderación de Pareto para asignar pesos individuales a los puntos de datos para una mejor optimización.

Fuente: MDPI