Evercoast impulsa la innovadora actuación holográfica de Sebastian Yatra

En un entorno inmersivo, gracias a la tecnología de captura volumétrica de Evercoast, la red 5G Ultra Wideband de Verizon y la computación perimetral móvil, el artista colombiano Sebastian Yatra ha ofrecido un concierto virtual con un holograma de sí mismo.

El concierto virtual, en el que el artista colombiano Sebastian Yatra ha interpretado una versión en inglés y español de su exitoso tema Tacones rojos, formando ‘dúo’ con un holograma de RA de sí mismo, ha sido producido por Verizon, la plataforma Pandora y las tecnologías de producción virtual de Magnopus y de captura volumétrica de Evercoast.

Sebastian Marino, director de tecnología de Evercoast, explica que “nuestra tecnología de captura volumétrica reduce el coste de producción y simplifica la creación de seres humanos digitales de alta gama, permitiendo a los equipos integrar los hologramas de RA en los flujos de trabajo de producción virtual”.

Esta inmersiva actuación de Yatra, en asociación con Magnopus, Verizon y Pandora, “es sólo uno de los muchos ejemplos de cómo la captura volumétrica está preparada para mejorar el futuro de la tecnología de producción virtual -asegura Marino-. Permite a los creadores captar directamente actuaciones fotorrealistas en 3D en la cámara, sin necesidad de crear complejos activos ni limpiar la captura de movimiento”.

Para crear el holograma de realidad aumentada del artista colombiano, Magnopus colaboró con Evercoast, durante un día de rodaje en el Verizon 5G Lab, las instalaciones de captura volumétrica de este proveedor en Playa Vista (California).

Previamente, antes del rodaje, se planificó metódicamente la actuación de Yatra, la elección de la canción, los movimientos coreografiados, el vestuario y el peinado, durante meses de preproducción, para garantizar que todos los elementos se optimizaran para la captura volumétrica.

El día del rodaje, Yatra interpretó la parte en inglés de su icónico dúo contra una pantalla verde mientras estaba rodeado de cámaras de 360º. Esta actuación se capturó volumétricamente como un holograma de realidad aumentada mediante la tecnología de Evercoast y se transmitió a los monitores de la instalación, lo que permitió al artista verse a sí mismo cantando en tiempo real, como un avatar en 3D.

La canción completa, su conocido éxito Tacones rojos, se grabó en una toma continua, aunque el equipo filmó varias tomas con diferentes variaciones de la actuación del artista.

AJ Sciutto, director de producción virtual de Magnopus, recuerda que “era la primera vez que trabajaba con la tecnología de Evercoast, y el tiempo de procesamiento de vídeo volumétrico y el coste por minuto fueron significativamente menores que los de la competencia. Ha sido un placer trabajar con un socio creativo que entendía los requisitos técnicos de la realización de este concierto”.

Operado en vivo y capturado en un rodaje de producción virtual en un volumen Led, donde Yatra interpretó la parte española de su dúo, Magnopus desarrolló un flujo de trabajo en tiempo real que permitió al equipo ver el holograma de RA engranado con la actuación en vivo del artista.

A través de la red 5G de Verizon, Magnopus envió los datos de seguimiento de la cámara del volumen Led a un motor de Unreal Engine que se ejecutaba en 5G Edge con AWS Wavelength.

Gracias a ello, el equipo pudo renderizar el holograma de Yatra con los datos de la cámara virtual aplicados, y luego transmitir el vídeo a los monitores del plató, donde los operadores de cámara podían ver todos los elementos virtuales y en vivo combinados.

“Todo esto ocurrió en tiempo real, con una latencia de milisegundos -recalca Sciutto-, lo que permitió al equipo encuadrar las tomas en la composición final, con el Sebastián Yatra real, el holograma y el fondo virtual, todo en sus monitores”.

Además de Tacones rojos, Magnopus filmó cuatro canciones adicionales y una sesión de preguntas y respuestas con Yatra, que fueron editadas en el concierto virtual final y transmitidas al público el pasado mes de junio.

“La transmisión de objetos 3D de alta fidelidad en motores de juego es parte de nuestro trabajo de renderización distribuida, usando Verizon 5G Edge con AWS Wavelength -añade Andrew Zarick, jefe de incubación de tecnología de motores de juego en Metaverse & Web 3.0 de Verizon-.Trabajar con Evercoast, Magnopus y Sebastian Yatra fue una forma fantástica de hacer visible esta exploración a una audiencia comprometida, a través de un momento musical oportuno2.

Para Sciutto, “los efectos visuales fueron asombrosos; trabajar con un artista de tanto talento fue increíble, y mi parte favorita es saber que éste es el primer paso hacia una revolución en la realización de películas. Al descargar parte del proceso de renderización en la nube a través de edge computing, dimos los primeros pasos para demostrar que no se necesitan salas de máquinas de varios millones de dólares para hacer funcionar un escenario de pared Led”.

Otros artículos sobre Evercoast, Magnopus, Pandora FMS, Sebastian Yatra, Unreal Engine, Verizon