A la inteligencia artificial le molestan las conversaciones muy largas

Cuando una conversación de humanos con una inteligencia artificial especializada en lenguaje acumula muchas interacciones sin pausa, esa inteligencia artificial a veces empieza a funcionar más despacio y a perder calidad.

Esto le ocurre a inteligencias artificiales como por ejemplo ChatGPT.

Un equipo encabezado por Guangxuan Xiao, del Instituto Tecnológico de Massachusetts (MIT) en Estados Unidos, ha descubierto una sorprendente causa de este problema y ha desarrollado una sencilla solución que permite a un chatbot mantener una conversación ininterrumpida sin bloquearse ni ralentizarse.

El método consiste en modificar la memoria caché de clave-valor (que es como una memoria de conversación) en la que se basan muchos modelos lingüísticos de gran tamaño.

En algunos métodos, cuando esta caché necesita más información de la que puede almacenar, los primeros datos se eliminan. Esto puede hacer que el modelo falle.

Al garantizar que estos primeros datos permanezcan en la memoria, el método de los investigadores permite a un chatbot seguir chateando por muy larga que sea la conversación.

El método, denominado StreamingLLM, permite que un modelo siga siendo eficiente incluso cuando una conversación se prolonga durante más de 4 millones de palabras.

En comparación con otro método que evita los bloqueos volviendo a calcular constantemente parte de las conversaciones pasadas, StreamingLLM funcionó 22 veces más rápido.

Esto podría permitir a un chatbot mantener largas conversaciones durante toda la jornada laboral sin necesidad de reiniciarse continuamente.

Fuente: arXiv