Una inteligencia artificial del MIT puede entrenar redes neuronales más rápido que nunca

Buscan lograr la automatización del diseño de redes neuronales a alta velocidad.

El algoritmo diseña modelos de aprendizaje automático optimizados hasta 200 veces más rápido que los métodos tradicionales.

Una nueva área en inteligencia artificial implica el uso de algoritmos para diseñar automáticamente sistemas de aprendizaje automático conocidos como redes neuronales, que son más precisos y eficientes que los desarrollados por ingenieros humanos.

Pero esta técnica de búsqueda de arquitectura neuronal (NAS) es computacionalmente costosa.

Un algoritmo NAS de última generación desarrollado recientemente por Google para ejecutarse en un escuadrón de unidades de procesamiento gráfico (GPU) tomó 48.000 horas de GPU para producir una única red neuronal convolucional, que se usa para la clasificación de imágenes y tareas de detección.

Google tiene los recursos para ejecutar cientos de GPUs y otro hardware especializado en paralelo, pero eso está fuera del alcance de muchos otros.

En un documento que se presentó en la Conferencia Internacional sobre Representaciones de Aprendizaje, investigadores del MIT describen un algoritmo NAS que puede aprender directamente redes neuronales convolucionales (CNN) especializadas para plataformas de hardware objetivo, cuando se ejecutan en un conjunto de datos de imágenes masivas, en solo 200 horas de GPU, lo que podría permitir un uso mucho más amplio de estos tipos de algoritmos.

Los investigadores y las empresas con pocos recursos podrían beneficiarse del algoritmo de ahorro en tiempo y costos, dicen los investigadores.

El objetivo general es “democratizar la IA”, dice el coautor Song Han, profesor asistente de ingeniería eléctrica y ciencias de la computación e investigador en los Laboratorios de Tecnología de Microsistemas en el MIT.

“Queremos permitir que tanto los expertos en inteligencia artificial como los no expertos diseñen eficientemente arquitecturas de redes neuronales con una solución de botón que se ejecuta rápidamente en un hardware específico”.

Han agrega que tales algoritmos NAS nunca reemplazarán a los ingenieros humanos.

“El objetivo es descargar el trabajo repetitivo y tedioso que conlleva el diseño y el refinamiento de las arquitecturas de redes neuronales”, dice Han, a quien se unieron en el documento dos investigadores de su grupo, Han Cai y Ligeng Zhu.

En su trabajo, los investigadores desarrollaron formas de eliminar componentes de diseño de redes neuronales innecesarios, reducir los tiempos de computación y usar solo una fracción de la memoria del hardware para ejecutar un algoritmo NAS.

Una innovación adicional garantiza que cada CNN emitida se ejecute de manera más eficiente en plataformas de hardware específicas (CPU, GPU y dispositivos móviles) que las diseñadas por enfoques tradicionales.

En las pruebas, las CNN de los investigadores fueron 1,8 veces más rápidas en un teléfono móvil que los modelos tradicionales con estándar gold con una precisión similar.

La arquitectura de una CNN consiste en capas de cómputo con parámetros ajustables, llamados “filtros”, y las posibles conexiones entre esos filtros.

Los filtros procesan los pixeles de la imagen en cuadrículas de cuadrados, como 3×3, 5×5 o 7×7, con cada filtro cubriendo un cuadrado.

Los filtros se mueven esencialmente a través de la imagen y combinan todos los colores de su cuadrícula de pixeles cubiertos en un solo pixel.

Diferentes capas pueden tener filtros de diferentes tamaños y conectarse para compartir datos de diferentes maneras.

La salida es una imagen condensada, a partir de la información combinada de todos los filtros, que puede ser analizada más fácilmente por una computadora.

Debido a que la cantidad de arquitecturas posibles para elegir, llamada “espacio de búsqueda”, es tan grande, la aplicación de NAS para crear una red neuronal en conjuntos de datos de imágenes masivas es computacionalmente prohibitiva.

Los ingenieros generalmente ejecutan NAS en conjuntos de datos proxy más pequeños y transfieren sus arquitecturas CNN aprendidas a la tarea de destino.

Sin embargo, este método de generalización reduce la precisión del modelo.

Además, la misma arquitectura de salida también se aplica a todas las plataformas de hardware, lo que conduce a problemas de eficiencia.

Los investigadores entrenaron y probaron su nuevo algoritmo NAS en una tarea de clasificación de imágenes directamente en el conjunto de datos de ImageNet, que contiene millones de imágenes en mil clases.

Primero crearon un espacio de búsqueda que contiene todas las posibles “rutas” CNN candidatas, es decir, cómo se conectan las capas y los filtros para procesar los datos.

Esto le da libertad al algoritmo NAS para encontrar una arquitectura óptima.

Esto normalmente significa que todas las rutas posibles deben almacenarse en la memoria, lo que excedería los límites de memoria de la GPU.

Para abordar esto, los investigadores aprovechan una técnica llamada “binarización a nivel de ruta”, que almacena solo una ruta muestreada a la vez y ahorra un orden de magnitud en el consumo de memoria.

Combinan esta binarización con la “poda a nivel de ruta”, una técnica que tradicionalmente aprende qué “neuronas” en una red neuronal se pueden eliminar sin afectar la salida.

Sin embargo, en lugar de descartar neuronas, el algoritmo NAS de los investigadores poda caminos completos, lo que cambia completamente la arquitectura de la red neuronal.

En el entrenamiento, todas las rutas tienen inicialmente la misma probabilidad de selección.

Luego, el algoritmo rastrea las rutas, almacenando solo una a la vez, para anotar la precisión y la pérdida (una penalización numérica asignada para predicciones incorrectas) de sus salidas.

Luego ajusta las probabilidades de los caminos para optimizar tanto la precisión como la eficiencia.

Al final, el algoritmo recorta todas las rutas de baja probabilidad y mantiene solo la ruta con la probabilidad más alta, que es la arquitectura CNN final.

Otra innovación clave fue hacer que el algoritmo NAS sea “sensible al hardware”, dice Han, lo que significa que utiliza la latencia en cada plataforma de hardware como una señal de retroalimentación para optimizar la arquitectura.

Para medir esta latencia en los dispositivos móviles, por ejemplo, las grandes empresas como Google emplearán una “granja” de dispositivos móviles, lo que es muy costoso.

En su lugar, los investigadores construyeron un modelo que predice la latencia usando solo un teléfono móvil.

Para cada capa elegida de la red, el algoritmo muestrea la arquitectura en ese modelo de predicción de latencia.

Luego, utiliza esa información para diseñar una arquitectura que se ejecute lo más rápido posible, al tiempo que logra una alta precisión.

En experimentos, la CNN de los investigadores se ejecutó casi el doble de rápido que un modelo estándar gold en dispositivos móviles.

Un resultado interesante, dice Han, fue que su algoritmo NAS diseñó arquitecturas CNN que durante mucho tiempo fueron descartadas por ser demasiado ineficientes, pero, en las pruebas de los investigadores, en realidad estaban optimizadas para cierto hardware.

Por ejemplo, los ingenieros esencialmente han dejado de usar los filtros 7×7, porque son computacionalmente más caros que los filtros múltiples y más pequeños.

Sin embargo, el algoritmo NAS de los investigadores encontró arquitecturas con algunas capas de filtros 7×7 que se ejecutaron de manera óptima en las GPU.

Esto se debe a que las GPU tienen una alta paralelización, lo que significa que computan muchos cálculos a la vez, por lo que pueden procesar un solo filtro grande a la vez de manera más eficiente que el procesamiento de múltiples filtros pequeños, uno a la vez.

“Esto va en contra del pensamiento humano anterior”, dice Han.

“Cuanto más grande es el espacio de búsqueda, más cosas desconocidas puedes encontrar.

No sabes si algo será mejor que la experiencia humana pasada. Deja que la IA lo resuelva.

Fuente: MIT