Inteligencia artificial genera videos a partir de señales cerebrales

Investigadores de la Universidad Nacional de Singapur y la Universidad China de Hong Kong afirman han creado una IA que puede reconstruir videos de “alta calidad” a partir de señales cerebrales.

Como explican los investigadores en un artículo que aún no ha sido revisado por pares, el modelo de IA denominado MinD-Video está “co-entrenado” en datos disponibles públicamente de lecturas de fMRI, específicamente, datos tomados de instancias en las que a un individuo se le mostró un video mientras se registraba su actividad cerebral, y un modelo aumentado del generador de imágenes AI Stable Diffusion.

Usando esta “tubería de dos módulos diseñada para cerrar la brecha entre la decodificación cerebral de imágenes y videos“, pudieron generar reconstrucciones de los videos generadas por IA de “alta calidad“, que se mostraron originalmente a los participantes, basándose únicamente en sus lecturas cerebrales.

Según los investigadores, su modelo pudo reconstruir estos videos con una precisión promedio del 85 por ciento, según “varias métricas semánticas y de nivel de pixel”.

“Comprender la información oculta dentro de nuestras complejas actividades cerebrales es un gran rompecabezas en la neurociencia cognitiva“, se lee en el artículo.

“Demostramos que los videos de alta calidad de velocidades de cuadro arbitrarias se pueden reconstruir con Mind-Video utilizando la guía contradictoria“.

El nuevo artículo se basa en los esfuerzos previos de los investigadores de usar IA para recrear imágenes analizando solo las ondas cerebrales.

Las nuevas representaciones de video de la IA, en general, son bastante impresionantes, como se demuestra en las comparaciones directas lado a lado de los videos originales y “reconstruidos” en el sitio web de los investigadores.

Por ejemplo, un video de una multitud de personas caminando por una calle concurrida se tradujo en una escena igualmente concurrida, aunque con colores más vivos.

Una escena submarina de peces de colores se convirtió en una escena submarina aún más vibrante.

Pero el efecto está lejos de ser perfecto.

Por ejemplo, un video de una medusa se transformó inexplicablemente en un clip de un pez nadando, mientras que un video de una tortuga marina se reinterpretó como imágenes de un pez.

Los investigadores argumentan que estas generaciones de IA también pueden ofrecer conocimientos neurológicos, por ejemplo, mostrando el dominio de la corteza visual en el proceso de percepción visual.

Aunque esta investigación es fascinante, todavía estamos lejos de un futuro en el que podamos ponernos un casco y obtener una transmisión de video perfectamente precisa generada por IA de lo que sea que esté flotando alrededor de nuestro cráneo.

Fuente: Mind-Video