Inteligencia artificial capaz de leer una novela en menos de un minuto

Anthropic, es una startup que fue fundada por exingenieros de OpenAI que se fueron descontentos de aquella.

Sus avances han atraído el interés de Google, que ha invertido 400 millones de dólares en ella, y han cristalizado con Claude, un chatbot que ahora está haciendo morder el polvo a ChatGPT y a GPT-4. ¿Cómo? Leyendo mucho.

Los modelos de IA conversacionales actuales son mejores cuanta más información son capaces de absorber en cada consulta.

Es el llamado contexto (o ventana de contexto), y se mide en tokens, unidades básicas en las que se divide la información que “capta” el modelo.

Un token puede equivaler a una palabra, pero suele también equivaler a un pequeño grupo de palabras.

Google Bard tiene un límite de 2K tokens, ese parece ser también el tope para Bing Chat, GPT-3 y ChatGPT admiten 4K, y GPT-4 trabaja de serie con un límite de 8K, pero hay una versión de este último que llega a los 32K tokens.

Sin embargo en Anthropic han dado un salto brutal en este apartado.

La “ventana de contexto” de Claude era de 9K tokens, pero ahora han hecho que sea posible soportar ventanas de 100K tokens, lo que según la empresa permite que en un solo prompt se puedan introducir unas 75.000 palabras.

¿Qué significa eso?

La forma más sencilla de entenderlo es destacando que Claude es capaz de leerse una novela en segundos, y a partir de ahí, contestar a cualquier pregunta sobre esa novela.

Con ChatGPT tendríamos que introducir la novela en pequeños fragmentos, y no es nada trivial hacer que luego todos esos fragmentos sean considerados como un texto único para luego hacer preguntas.

Es lo que GPT-4 facilita con ese límite superior de 32K, pero Anthropic va mucho más allá con Claude.

Esto es particularmente interesante para las empresas, que podrán acudir a Claude para introducir (¿aburridos?) documentos de decenas (e incluso centenares) de páginas con multitud de datos sobre los que luego podremos realizar todo tipo de peticiones.

Claude podrá resumirlos, extraer tablas y conclusiones o generar ideas a partir de él.

Será como tener un analista o consultor robótico listo para devorar datos y extraer ideas, información y conclusiones.

No solo eso: esa ventana de contexto también vale para el audio.

Esos 100K tokens hacen que Claude pueda “consumir” un podcast de unas 6 horas.

Lo hizo AssemblyAI, que transcribió un larguísimo episodio que dio como resultado 58K palabras y que Claude luego resumió a la perfección.

Lo mismo ocurre con esa ventaja en el caso de los desarrolladores.

Los programadores podrán por ejemplo dar como entrada un proyecto software completo, o también hacer que Claude se lea 240 páginas de documentación de una API para luego comenzar a hacer preguntas sobre ella.

Fuente: Anthropic