Evercoast Powers Sebastian Yatra's Innovative Holographic Performance

In an immersive environment, thanks to the volumetric capture technology of Evercoast, the 5G Ultra Wideband network of Verizon and mobile edge computing, the Colombian artist Sebastian Yatra has given a virtual concert with a hologram of himself.

The virtual concert, in which the Colombian artist Sebastian Yatra has performed an English and Spanish version of his hit track Red heels, forming 'duo' with a AR hologram of himself, has been produced by Verizon, the platform Pandora and virtual production technologies of Magnopus and volumetric capture of Evercoast.

Sebastian Marino, Evercoast Chief Technology Officer, explains that "our volumetric capture technology reduces the cost of production and simplifies the creation of high-end digital human beings, enabling teams to integrate AR holograms into virtual production workflows".

This immersive performance by Yatra, in partnership with Magnopus, Verizon and Pandora, "It's just one of many examples of how volumetric capture is poised to improve the future of virtual production technology," marino said.. Allows creators to directly capture photorealistic 3D performances on camera, no need to create complex assets or clean up motion capture".

To create the Colombian artist's augmented reality hologram, Magnopus collaborated with Evercoast, during a day of filming in the Verizon 5G Lab, the volumetric capture facilities of this provider in Playa Vista (California).

previously, before filming, Yatra's performance was methodically planned, the choice of song, choreographed movements, costumes and hairstyle, for months of pre-production, to ensure that all elements were optimized for volumetric capture.

The day of filming, Yatra performed the English part of his iconic duet against a green screen while surrounded by 360º cameras. This performance was captured volumetrically as an augmented reality hologram using Evercoast technology and transmitted to the facility's monitors., which allowed the artist to see himself singing in real time, as a 3D avatar.

The full song, his well-known success Red heels, was recorded in a continuous take, although the crew filmed several shots with different variations of the artist's performance.

AJ Sciutto, Virtual Production Manager at Magnopus, "It was the first time I had worked with Evercoast technology., "It was the first time I had worked with Evercoast technology.. Ha sido un placer trabajar con un socio creativo que entendía los requisitos técnicos de la realización de este concierto”.

Operado en vivo y capturado en un rodaje de producción virtual en un volumen Led, donde Yatra interpretó la parte española de su dúo, Magnopus desarrolló un flujo de trabajo en tiempo real que permitió al equipo ver el holograma de RA engranado con la actuación en vivo del artista.

A través de la red 5G de Verizon, Magnopus envió los datos de seguimiento de la cámara del volumen Led a un motor de Unreal Engine que se ejecutaba en 5G Edge con AWS Wavelength.

As a result,, el equipo pudo renderizar el holograma de Yatra con los datos de la cámara virtual aplicados, y luego transmitir el vídeo a los monitores del plató, donde los operadores de cámara podían ver todos los elementos virtuales y en vivo combinados.

“Todo esto ocurrió en tiempo real, con una latencia de milisegundos -recalca Sciutto-, lo que permitió al equipo encuadrar las tomas en la composición final, con el Sebastián Yatra real, el holograma y el fondo virtual, todo en sus monitores”.

Besides Red heels, Magnopus filmó cuatro canciones adicionales y una sesión de preguntas y respuestas con Yatra, que fueron editadas en el concierto virtual final y transmitidas al público el pasado mes de junio.

“La transmisión de objetos 3D de alta fidelidad en motores de juego es parte de nuestro trabajo de renderización distribuida, usando Verizon 5G Edge con AWS Wavelength -añade Andrew Zarick, jefe de incubación de tecnología de motores de juego en Metaverse & Web 3.0 de Verizon-.Trabajar con Evercoast, Magnopus y Sebastian Yatra fue una forma fantástica de hacer visible esta exploración a una audiencia comprometida, a través de un momento musical oportuno2.

Para Sciutto, “los efectos visuales fueron asombrosos; trabajar con un artista de tanto talento fue increíble, y mi parte favorita es saber que éste es el primer paso hacia una revolución en la realización de películas. Al descargar parte del proceso de renderización en la nube a través de edge computing, dimos los primeros pasos para demostrar que no se necesitan salas de máquinas de varios millones de dólares para hacer funcionar un escenario de pared Led”.

Other articles on Evercoast, Magnopus, Pandora FMS, Sebastian Yatra, Unreal Engine, Verizon