Cuando una conversación de humanos con una inteligencia artificial especializada en lenguaje acumula muchas interacciones sin pausa, esa inteligencia artificial a veces empieza a funcionar más despacio y a perder calidad.

Esto le ocurre a inteligencias artificiales como por ejemplo ChatGPT.

Un equipo encabezado por Guangxuan Xiao, del Instituto Tecnológico de Massachusetts (MIT) en Estados Unidos, ha descubierto una sorprendente causa de este problema y ha desarrollado una sencilla solución que permite a un chatbot mantener una conversación ininterrumpida sin bloquearse ni ralentizarse.

El método consiste en modificar la memoria caché de clave-valor (que es como una memoria de conversación) en la que se basan muchos modelos lingüísticos de gran tamaño.

En algunos métodos, cuando esta caché necesita más información de la que puede almacenar, los primeros datos se eliminan. Esto puede hacer que el modelo falle.

Al garantizar que estos primeros datos permanezcan en la memoria, el método de los investigadores permite a un chatbot seguir chateando por muy larga que sea la conversación.

El método, denominado StreamingLLM, permite que un modelo siga siendo eficiente incluso cuando una conversación se prolonga durante más de 4 millones de palabras.

En comparación con otro método que evita los bloqueos volviendo a calcular constantemente parte de las conversaciones pasadas, StreamingLLM funcionó 22 veces más rápido.

Esto podría permitir a un chatbot mantener largas conversaciones durante toda la jornada laboral sin necesidad de reiniciarse continuamente.

Fuente: arXiv

Artículos relacionados:

Inteligencia artificial de Google puede mantener conversaciones más naturales y realistas Monóculo con inteligencia artificial para mejorar sus conversaciones con realidad aumentada Escuchan conversaciones a decenas de metros de distancia usando las vibraciones de una bombilla Las gafas de Google podrán desplegar transcripciones de conversaciones en tiempo real Crean inteligencia artificial capaz de hablar con servicio al cliente por usted y conseguir descuentos BratGPT, la inteligencia artificial más sarcástica del mundo