¿Cómo la realidad aumentada puso cinco Madonnas en el escenario a la vez?

Madonna bailó con versiones digitales de sí misma en los Billboard Music Awards.

En los Billboard Music Awards del miércoles, Madonna interpretó su último single, “Medellín”, con el cantante colombiano Maluma.

Sin embargo, ellos (y sus bailarines de carne y hueso) no estaban solos en el escenario de Las Vegas.

Varias versiones virtuales del icono pop se unieron a ellos: una agente secreto, una música, una instructora de cha-cha y una novia.

La realidad aumentada hizo que los personajes de Madonna cobraran vida con la ayuda de la captura volumétrica, esencialmente video en 3D, y Unreal Engine.

Los avatares (no hologramas, por lo que no eran visibles a simple vista) entraron y salieron de la presentación, estallando en mariposas y bocanadas de humo.

Hubo varios efectos ambientales que animaron el espectáculo, incluyendo lluvia digital, nubes, vegetación y toques de color, que se casaron con el lado físico en un intento de contar una historia cohesiva.

Madonna se ha reinventado innumerables veces a lo largo de su carrera histórica, por lo que tal vez no sea una sorpresa que haya intentado algo como esto.

Jamie King, el director creativo de Madonna desde hace mucho tiempo, dijo que estaba buscando algo especial para las BBMA.

“Después de reunirnos con el manager de Madonna, Guy Oseary, decidimos incorporar la realidad aumentada a la actuación”, dijo a Engadget.

“Quería explorar una forma de involucrar a sus personajes de Madame X en la actuación, así como la posibilidad de que la verdadera Madonna pueda actuar con [ellas]”.

El equipo llevó el concepto a una nueva empresa creativa de realidad aumentada llamada Sequin, que asumió el desafío de unir la presentación.

Si bien fue la primera vez que Madonna y Maluma interpretaron la canción en vivo, también marcó el primer proyecto para Sequin.

Si bien es posible que no reconozca el nombre, probablemente esté familiarizado con el trabajo de los co-fundadores Lawrence Jones y Robert DeFranco.

En The Future Group, sus proyectos incluyeron esas espectaculares visualizaciones de inundaciones para The Weather Channel, una presentación mejorada por realidad aumentada de K/DA en las Finales del Campeonato Mundial de League of Legends del año pasado y los efectos para el Super Bowl de este año, por el cual fueron nominados para un Emmy.

Jones, quien supervisa el desarrollo creativo, de producción y de tecnología en Sequin, cree que fue la primera vez que ha habido una transmisión de una presentación con realidad aumentada utilizando captura volumétrica, lo que llamó “la próxima revolución” del medio.

“Lo nuevo de esto es que es una actuación completamente coreografiada donde Madonna y Maluma están bailando con cuatro versiones digitales de Madonna en perfecta coreografía”, dijo a Engadget en una entrevista.

El espectáculo fue algo así como un asunto global.

El proceso de captura volumétrica se llevó a cabo en un estudio en Londres, mientras que una compañía canadiense creó los activos y entornos digitales en Unreal Engine for Sequin para unirlos.

El motor Unreal se está utilizando más ampliamente fuera de los límites de sus orígenes de juegos en estos días.

Creativos en diversos campos están aprovechando su potencial, incluida películas, realidad virtual y, por supuesto, realidad aumentada.

“Lo interesante de los efectos visuales en tiempo real en la transmisión con realidad aumentada [es que] una gran parte del trabajo está ocurriendo en preproducción”, dijo Jones.

“Toda la creación de los activos, toda la animación, la mayor parte de la iluminación se realiza antes de tiempo”.

Un aspecto crítico de la realización de presentaciones como este trabajo es el seguimiento de la cámara en tiempo real.

Jones y su equipo utilizan una herramienta llamada
Brainstorm , colocando objetos de transmisión en capas, que incluyen gráficos en movimiento, generación de personajes y datos en tiempo real, además de Unreal Engine.

Jones explicó que Brainstorm alimenta los datos de las cámaras físicas en Unreal Engine, por lo que todo, desde la configuración real, se alinea con una replicación digital, asegurando que los renders de realidad aumentada estén en el lugar correcto en el momento correcto.

Una vez que Sequin estuvo en Las Vegas, el equipo modificó la producción para que se integrara completamente con la configuración de l presentación real, haciendo ajustes para factores como iluminación, sombras, reflejos, timing y ubicación.

Según Jones, los Billboard Music Awards y Dick Clark Productions (que produjeron la transmisión) fueron “esenciales para que esto sucediera” y fueron “súper complacientes” para Sequin y Madonna.

Suficiente tiempo en el escenario fue vital para asegurarse de que los aspectos en vivo y virtuales se alinearan correctamente, lo que no fue nada fácil para un espectáculo con más de una docena de artistas que necesitaban tiempo de ensayo.

Las presentaciones complejas como esta son impulsadas por códigos de tiempo, como Jones señaló.

Todo, desde luces, música y efectos pirotécnicos hasta gráficos, tiene sus propios disparadores de código de tiempo.

Los renders también lo hacen, por supuesto.

Jones trabajó con Carla Kama, otra directora creativa de Madonna, para diseñar las tomas y asegurarse de que todo coincidiera.

La presentación final usó tres cámaras habilitadas para realidad aumentada: la grúa (o brazo), una cámara frontal y una Steadicam inalámbrica.

“La inalámbrica es más novedosa, ya que permite tener una cámara gratis para desplazarse y poder tener estas tomas dinámicas, fluidas y orgánicas realmente geniales”, dijo Jones.

Si bien no fue impecable y encontró una buena cantidad de detractores en Twitter, la pantalla mostró la vanguardia en captura volumétrica y realidad aumentada.

Los asistentes a la entrega de premios pudieron ver los disfraces de la realidad aumentada de Madonna en las pantallas del MGM Grand Garden Arena.

Sin embargo, al equipo creativo no le preocupó demasiado que los aspectos de realidad aumentada alejaran a los asistentes de la presentación en vivo, que era bastante animada incluso sin los elementos digitales, la línea de conga y todo.

Dada la audiencia en vivo de miles y la audiencia televisiva se extenderá a millones, “creo que los pros superan a los contras”, dijo Jones.

Fuente: Engadget