NVIDIA Project Digits, supercomputador de escritorio para IA

NVIDIA acaba de anunciar Project Digits, un “supercomputador de IA personal” que promete poner todo el poder de procesamiento de los grandes modelos de lenguaje en los escritorios de investigadores, estudiantes y desarrolladores.

El dispositivo tiene el tamaño aproximado de un Mac mini y unas especificaciones impresionantes:

Puede ejecutar modelos de hasta 200.000 millones de parámetros (más grande que GPT-3).
128 GB de memoria unificada DDR5X de bajo consumo.
SSD de 4 TB.
Wi-Fi, Bluetooth, USB.
CPU Grace de 20 núcleos.
Superchip GB10.
GPU Blackwell que puede alcanzar 1 petaflop de rendimiento en IA.

Y todo mientras se alimenta de una toma corriente estándar. Es algo que antes requería de instalaciones especializadas.

Más allá del deslumbramiento técnico, vamos con su precio, que parte de 3.000 dólares: no es exactamente accesible para cualquiera, aunque sí es mucho más barato que construir un centro de datos.

Tampoco es un equipo para el usuario casual interesado en la IA generativa.

Más bien es una herramienta profesional dirigida a un mercado muy concreto.

La capacidad de desarrollar y probar modelos de IA en local, sin depender de servicios en la nube ni de presupuestos empresariales.

Tiene por tanto un valor real para startups y para investigadores.

La propuesta es una adaptación a esta era de lo que hicieron en los ochenta los primeros PCs: no reemplazaron a los grandes computadores corporativos, pero sí pusieron el poder de la informática en manos directas de los innovadores de la época, incluso desde sus casas. O desde sus garajes.

Es un cambio similar el que propone Project Digits: poner en las manos de hoy el poder de los grandes modelos sin necesidad de nubes ni de grandes gastos de infraestructura.

Project Digits es potencialmente una válvula de escape: lo que permitirá que equipos pequeños experimenten con la IA sin depender de gigantes. “Solo” de una compra puntual a NVIDIA.

Estará disponible en mayo.

De momento, la promesa del supercomputador para IA de escritorio viene con un asterisco de 3.000 dólares. Quizás sigamos lejos de la democratización de la IA, pero este es un gran paso hacia adelante.

Fuente: NVIDIA