Usan inteligencia artificial para generar hologramas 3D en tiempo real y que pueden ejecutarse en un smartphone

Un nuevo método llamado holografía tensorial podría permitir la creación de hologramas para realidad virtual, impresión 3D, imágenes médicas y más, y puede ejecutarse en un teléfono inteligente.

A pesar de años de exageración, los auriculares de realidad virtual aún no han superado las pantallas de televisión o de computadora como dispositivos de referencia para ver videos.

Una razón: la realidad virtual puede hacer que los usuarios se sientan mal.

Pueden producirse náuseas y fatiga visual porque la realidad virtual crea una ilusión de visualización en 3D, aunque el usuario de hecho está mirando una pantalla en 2D de distancia fija.

La solución para una mejor visualización en 3D podría residir en una tecnología de 60 años rehecha para el mundo digital: los hologramas.

Los hologramas ofrecen una representación excepcional del mundo 3D que nos rodea.

Los hologramas ofrecen una perspectiva cambiante basada en la posición del espectador, y permiten que el ojo ajuste la profundidad focal para enfocar alternativamente el primer plano y el fondo.

Los investigadores han buscado durante mucho tiempo hacer hologramas generados por computadora, pero el proceso tradicionalmente ha requerido una supercomputadora para realizar simulaciones de física, lo que requiere mucho tiempo y puede producir resultados menos que fotorrealistas.

Ahora, los investigadores del MIT han desarrollado una nueva forma de producir hologramas casi instantáneamente, y el método basado en el aprendizaje profundo es tan eficiente que puede ejecutarse en una computadora portátil en un abrir y cerrar de ojos, dicen los investigadores.

“La gente pensaba anteriormente que con el hardware existente para el consumidor, era imposible hacer cálculos de holografía 3D en tiempo real“, dice Liang Shi, autor principal del estudio y estudiante de doctorado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT.

“A menudo se ha dicho que las pantallas holográficas disponibles comercialmente estarán disponibles en 10 años, sin embargo, esta afirmación ha existido durante décadas“.

Shi cree que el nuevo enfoque, que el equipo llama “holografía tensorial“, finalmente pondrá a su alcance ese escurridizo objetivo de 10 años.

El avance podría alimentar un desbordamiento de la holografía en campos como la realidad virtual y la impresión 3D.

Shi trabajó en el estudio, publicado en Nature, con su asesor y coautor Wojciech Matusik.

Otros coautores incluyen a Beichen Li de EECS y el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, así como a los ex investigadores del MIT Changil Kim (ahora en Facebook) y Petr Kellnhofer (ahora en la Universidad de Stanford).

Una fotografía típica basada en lentes codifica el brillo de cada onda de luz; una foto puede reproducir fielmente los colores de una escena, pero finalmente produce una imagen plana.

Por el contrario, un holograma codifica tanto el brillo como la fase de cada onda de luz.

Esa combinación ofrece una descripción más fiel del paralaje y la profundidad de una escena.

Entonces, mientras que una fotografía de los “Nenúfares” de Monet puede resaltar la paleta de colores de las pinturas, un holograma puede dar vida a la obra, representando la textura 3D única de cada pincelada.

Pero a pesar de su realismo, los hologramas son un desafío para hacer y compartir.

Desarrollados por primera vez a mediados del siglo XX, los primeros hologramas se registraron ópticamente.

Eso requirió dividir un rayo láser, con la mitad del rayo utilizado para iluminar al sujeto y la otra mitad utilizada como referencia para la fase de las ondas de luz.

Esta referencia genera la sensación de profundidad única de un holograma.

Las imágenes resultantes eran estáticas, por lo que no podían capturar el movimiento.

Y eran solo copias impresas, lo que dificultaba la reproducción y el intercambio.

La holografía generada por computadora evita estos desafíos al simular la configuración óptica.

Pero el proceso puede ser un trabajo duro computacional.

“Debido a que cada punto de la escena tiene una profundidad diferente, no se pueden aplicar las mismas operaciones para todos“, dice Shi.

“Eso aumenta la complejidad de manera significativa“.

Dirigir una supercomputadora agrupada para ejecutar estas simulaciones basadas en la física podría llevar segundos o minutos para una sola imagen holográfica.

Además, los algoritmos existentes no modelan la oclusión con precisión fotorrealista.

Así que el equipo de Shi adoptó un enfoque diferente: dejar que la computadora se enseñara física a sí misma.

Utilizaron el aprendizaje profundo para acelerar la holografía generada por computadora, lo que permitió la generación de hologramas en tiempo real.

El equipo diseñó una red neuronal convolucional, una técnica de procesamiento que utiliza una cadena de tensores entrenables para imitar aproximadamente cómo los humanos procesan la información visual.

El entrenamiento de una red neuronal generalmente requiere un conjunto de datos grande y de alta calidad, que no existía anteriormente para los hologramas 3D.

El equipo construyó una base de datos personalizada de 4.000 pares de imágenes generadas por computadora.

Cada par hizo coincidir una imagen, incluida la información de color y profundidad de cada pixel, con su holograma correspondiente.

Para crear los hologramas en la nueva base de datos, los investigadores utilizaron escenas con formas y colores complejos y variables, con la profundidad de los pixeles distribuida uniformemente desde el fondo hasta el primer plano, y con un nuevo conjunto de cálculos basados ​​en la física para manejar la oclusión.

Ese enfoque resultó en datos de entrenamiento fotorrealistas. A continuación, el algoritmo se puso a trabajar.

Al aprender de cada par de imágenes, la red tensorial modificó los parámetros de sus propios cálculos, mejorando sucesivamente su capacidad para crear hologramas.

La red totalmente optimizada operó órdenes de magnitud más rápido que los cálculos basados ​​en la física.

Esa eficiencia sorprendió al propio equipo.

“Estamos asombrados de lo bien que funciona”, dice Matusik.

En solo milisegundos, la holografía tensorial puede crear hologramas a partir de imágenes con información de profundidad, que se proporciona mediante imágenes típicas generadas por computadora y se puede calcular a partir de una configuración multicámara o un sensor LiDAR (ambos son estándar en algunos teléfonos inteligentes nuevos).

Este avance allana el camino para la holografía 3D en tiempo real.

Además, la red tensorial compacta requiere menos de 1 MB de memoria.

“Es insignificante, considerando las decenas y cientos de gigabytes disponibles en el último teléfono celular”, dice.

La investigación “muestra que las verdaderas pantallas holográficas en 3D son prácticas con solo requisitos computacionales moderados”, dice Joel Kollin, arquitecto óptico principal de Microsoft que no participó en la investigación.

Agrega que “este documento muestra una marcada mejora en la calidad de la imagen con respecto al trabajo anterior“, lo que “agregará realismo y comodidad al espectador“.

Kollin también insinúa la posibilidad de que pantallas holográficas como esta puedan incluso personalizarse según la prescripción oftálmica de un espectador.

“Las pantallas holográficas pueden corregir aberraciones en el ojo.

Esto hace posible una imagen de pantalla más nítida de lo que el usuario podría ver con lentes de contacto o anteojos, que solo corrigen aberraciones de bajo orden como el enfoque y el astigmatismo”.

La holografía 3D en tiempo real mejoraría una gran cantidad de sistemas, desde la realidad virtual hasta la impresión 3D.

El equipo dice que el nuevo sistema podría ayudar a sumergir a los espectadores de realidad virtual en escenarios más realistas, al tiempo que elimina la fatiga visual y otros efectos secundarios del uso prolongado de la realidad virtual.

La tecnología podría implementarse fácilmente en pantallas que modulan la fase de las ondas de luz.

Actualmente, las pantallas de consumo más asequibles modulan solo el brillo, aunque el costo de las pantallas de modulación de fase disminuiría si se adoptaran ampliamente.

La holografía tridimensional también podría impulsar el desarrollo de la impresión 3D volumétrica, dicen los investigadores.

Esta tecnología podría resultar más rápida y precisa que la impresión 3D tradicional capa por capa, ya que la impresión 3D volumétrica permite la proyección simultánea de todo el patrón 3D.

Otras aplicaciones incluyen microscopía, visualización de datos médicos y diseño de superficies con propiedades ópticas únicas.

“Es un salto considerable que podría cambiar por completo la actitud de las personas hacia la holografía“, dice Matusik.

“Sentimos que las redes neuronales nacieron para esta tarea“.

Fuente: MIT News