A cualquiera le parece normal aprender el significado de una palabra y luego aplicarlo a otros contextos del lenguaje.
Lo mismo ocurre por ejemplo con los objetos: una vez reconocemos su forma, podemos reconocer ese objeto aunque esté formado por otros compuestos y materiales o tenga distinto color.
Es un ya conocido ingrediente de nuestra inteligencia que los expertos llaman “generalización compositiva“.
La pregunta es si las máquinas podían llegar a “pensar” de esta manera.
Como señalan en la Universidad de Nueva York, a finales de los 80 dos científicos cognitivos llamados Jerry Fodor y Zenon Pylyshyn postularon que las redes neuronales artificiales son capaces de hacer esas conexiones, pero desde entonces el éxito en esa materia ha sido esquivo. O lo había sido.
Investigadores de esa institución y de la Universidad Pompeu Fabra en España llevan tiempo trabajando en este ámbito y han desarrollado una nueva técnica que precisamente apunta a esa capacidad.
El estudio revela cómo herramientas como ChatGPT pueden realizar esas generalizaciones compositivas a través del llamado “Meta-aprendizaje para la compositividad” (MLC).
Según las pruebas realizadas por los investigadores, esta técnica es capaz no solo de igualar, sino incluso de superar la capacidad humana en esta importante función cognitiva.
La clave de la técnica MLC no ha sido el entrenamiento, sino una práctica explícita de estas capacidades.
La técnica MLC es un procedimiento de aprendizaje para redes neuronales en las que estos sistemas se actualizan continuamente para mejorar sus habilidades en una serie de etapas o episodios.
Así, en un episodio el sistema MLC recibe una nueva palabra y se le pide que lo aplique de forma compositiva.
Por ejemplo, le dan la palabra “salta” y le piden que cree nuevas combinaciones de palabras, como “salta dos veces” o “salta a la derecha dos veces“.
A partir de ahí se genera otro episodio con otra nueva palabra, de forma que las habilidades compositivas van incrementándose.
En las pruebas realizadas por Brenden Lake (NYU) y Marco Baroni (ICREA), estos dos investigadores realizaron una serie de pruebas con participantes humanos que recibían los mismos “episodios” que había recibido el MLC.
No solo trabajaron con el significado de palabras reales, sino también con términos inventados definidos por los investigadores.
En esas pruebas MLC se comportó tan bien como los participantes humanos y en ocasiones lo hizo incluso mejor.
También se comparó el rendimiento de este sistema con el de ChatGPT y GPT-4, y ambos fueron superados por el sistema desarrollado por estos investigadores.
El descubrimiento de esta técnica, explica Baroni, “puede mejorar aún más las capacidades compositivas de los grandes modelos de lenguaje (LLM)”.
Fuente: NYU
Los modelos de IA generativa como ChatGPT se entrenan con grandes cantidades de datos obtenidos…
El kit para desarrolladores NVIDIA Jetson Orin Nano Super está diseñado tanto para aficionados como…
Google ha presentado Veo 2, una IA que supera a Sora al generar videos realistas…
La nueva IA de Google es capaz de generar diseños de cualquier tipo sin necesidad…
Han pasado casi cinco meses desde el lanzamiento de SearchGPT. La prometedora función de búsqueda…
En los últimos años, los ingenieros han intentado crear sistemas de hardware que soporten mejor…