NVIDIA le permite crear su propio ChatGPT y ejecutarlo desde el PC

NVIDIA ha lanzado ‘Chat with RTX’, una app que permite crear un chatbot al estilo ChatGPT y ejecutarlo de forma local en el PC.

Tener un ChatGPT personalizado que se ejecute de forma local en el PC es ahora más sencillo, gracias a NVIDIA.

La empresa ha lanzado Chat with RTX, una aplicación que permite crear un chatbot de forma fácil y sacando partido del hardware de su computador.

Siempre y cuando lo tenga equipado con una GPU de la marca, por supuesto.

Chat with RTX es una demo, según explica NVIDIA.

Esto significa que el software todavía no está pulido al 100 % y puede presentar algunos fallos.

No obstante, es una alternativa muy interesante y que puede ayudar a agilizar tareas, como buscar datos específicos en documentos almacenados en el PC, o generar resúmenes de videos cargados en YouTube.

La aplicación presenta una interfaz minimalista y su funcionamiento está lejos de ser complicado.

Una vez instalado, los usuarios pueden elegir entre dos modelos de lenguaje de gran tamaño (LLM) para potenciar Chat with RTX: Mistral, de la startup francesa homónima, o LLaMA 2, de Meta.

Posteriormente, deben elegir una carpeta con los documentos que deseen escanear con el software de NVIDIA, y listo.

De allí en adelante, podrán realizarle preguntas al chatbot, tal y como al utilizar apps como ChatGPT, Gemini o Copilot.

La inteligencia artificial se encargará de analizar los archivos que le han proporcionado y extraerá las respuestas desde allí.

Así, por ejemplo, si Chat with RTX analiza una carpeta con archivos relacionados con sus próximas vacaciones, puede pedirle que le indique cuál es el día y la hora de su vuelo.

El chatbot de NVIDIA no solo le entregará una respuesta con la información en formato de texto, sino que también enlazará los documentos desde donde extrajo los datos para que pueda abrirlos rápidamente.

Siguiendo con el mismo ejemplo, si tiene un cronograma de actividades ya definido para su viaje y se encuentra en un PDF, puedes pedirle que extraiga esa información y se la resuma en segundos.

Pero Chat with RTX también tiene la capacidad de trabajar sobre elementos que no están almacenados localmente, como videos de YouTube.

Si en lugar de usar datos locales quiere extraer información de videos alojados en YouTube, Chat with RTX le permite hacerlo sin problemas.

Solo tiene que copiar el link y pegarlo en la aplicación de NVIDIA.

La IA se encargará de procesar el contenido para que pueda hacerle preguntas del mismo.

Además, al igual que con los documentos, puede generar un resumen y ofrecerlo en formato de texto.

En el anuncio promocional de este software, NVIDIA menciona que la aplicación funciona con “videos seleccionados”.

Si bien no elabora mucho más con respecto a ello, es lógico pensar que los resultados varíen dependiendo del contenido.

Dicho en términos más sencillos: no se sorprenda si la aplicación falla con bastante frecuencia al usar esta característica.

Chat with RTX requiere de una GPU de NVIDIA en su computador.

El chatbot es compatible con todos los modelos de las series RTX 30 y RTX 40 que tengan al menos 8 GB de VRAM.

Los demás requisitos para instalarlo son contar con Windows 11, al menos 16 GB de memoria RAM y la versión 535.11 o superior de los drivers de su tarjeta gráfica.

Aunque es probable que para sacarle verdadero provecho a la app requiera de un PC bastante potente.

egún menciona Tom Warren, de The Verge, la app ocupa unos 40 GB de la unidad de almacenamiento, y utiliza una instancia de Python que consume alrededor de 3 GB de RAM cuando está en ejecución.

Por último, vale aclarar que si usa la app con datos locales, dicha información no se cargará a la nube ni saldrá de su computadora.

Fuente: NVIDIA