MIT encuentra que las redes neuronales más pequeñas son más fáciles de entrenar

Las redes mini-neuronales “Boleto de Lotería” del MIT entrenan solo los nodos que necesitan.

A pesar de todos los avances en inteligencia artificial, la mayoría de los productos basados ​​en la IA todavía dependen de “redes neuronales profundas”, que a menudo son extremadamente grandes y su entrenamiento es prohibitivo.

Investigadores del MIT esperan cambiar eso.

En un artículo los investigadores revelan que las redes neuronales contienen “subredes” que son hasta 10 veces más pequeñas y podrían ser más baratas y rápidas de entrenar.

Para capacitar a la mayoría de las redes neuronales, los ingenieros les suministran conjuntos de datos masivos, pero eso puede llevar días y GPU costosas.

Los investigadores del Laboratorio de Inteligencia Artificial (CSAIL, por sus siglas en inglés) del MIT encontraron que dentro de esas redes capacitadas hay subredes más pequeñas que pueden hacer predicciones igualmente precisas.

La llamada “hipótesis del boleto de lotería” de CSAIL se basa en la idea de que entrenar a la mayoría de las redes neuronales es algo así como comprar todos los boletos en una lotería para garantizar una victoria.

En comparación, la capacitación de las subredes sería como comprar solo los boletos ganadores.

El problema es que los investigadores no han descubierto cómo encontrar esas subredes sin construir una red neuronal completa y luego eliminar los bits innecesarios.

Si pueden encontrar una manera de saltar ese paso e ir directamente a las subredes, este proceso podría ahorrar horas de trabajo y hacer que las redes neuronales de entrenamiento sean accesibles para los programadores individuales, no solo para las grandes empresas.

Pero determinar cómo encontrar subredes de manera eficiente y comprender por qué algunas son mejores que otras en el aprendizaje probablemente mantendrá a los investigadores ocupados durante años.

Fuente: Engadget