Inteligencia artificial convierte texto a imágenes 3D

Hace apenas un año OpenAI anunciaba el lanzamiento de DALL-E 2, un sistema de inteligencia artificial capaz de generar alucinantes imágenes a partir de nuestras peticiones (‘prompts’) en texto.

Desde entonces hemos visto cómo este motor y sus competidores, Stable Diffusion, Midjourney, han ido ganando prestaciones, pero ahora la propuesta ha ido un paso más allá.

Haweoo Jun y Alex Nichol, investigadores de OpenAI, publicaron un estudio sobre Shap-E, un modelo generativo condicional de objetos 3D.

Ya había modelos de este tipo, pero generaban una única representación.

Shap-E va más allá, y genera los parámentros de funciones implícitas que se pueden renderizar como redes de texturas o como los llamados NeRF (Neural Radiance Fields), lo que da muchas más posibilidades a diseñadores 3D.

Este modelo de IA generativa, cuyo código está disponible en GitHub, es aún algo modesto en sus resultados.

No hay que esperar aquí el hiperrealismo que ya hemos visto en Unreal Engine 5, y estamos ante una versión inicial de un motor que sin duda tiene mucho margen de mejora.

Aún así es capaz de trasladar un prompt de texto a una imagen 3D con resultados que, aun siendo de baja resolución y definición, prometen.

Como sucedió con los modelos de IA generativa que inicialmente trabajaban creando textos o imágenes, el costo computacional del uso de este tipo de tecnología es elevado.

Shap-E tarda unos 15 segundos en generar uno de esos modelos en una NVIDIA V100 (unos 4.000 dólares), lo que hace que hoy por hoy la aplicación práctica de este modelo sea difícil de llevar a cabo.

Al igual que modelos como DALL-E 2, Stable Diffusion o Midjourney se han convertido en una singular herramienta para diseñadores y artistas, Shap-E y sus futuras alternativas se postulan como un potente ayudante en el campo del diseño 3D.

Modelar objetos 3D es una tarea compleja e intensiva, pero con este tipo de modelo se podría obtener un primer borrador sobre el que el artista luego podría trabajar ahorrándose parte del trabajo inicial.

Es posible probar Shap-E a través de la plataforma Mirage.

Sin embargo no resulta difícil imaginar un futuro en el que este tipo de IA generativa no ofrezca ya como resultado modelos 3D, sino que ofrezca modelos 3D preparados para ser impresos en impresoras 3D.

De repente “esculpir” cualquier tipo de objeto mediante la introducción del prompt adecuado parece mucho más factible.

Fuente: arXiv