Disney Research desarrolla Makeup Lamps, un proyector de imágenes y luz en tiempo real sobre el rostro

Componentes de este laboratorio, en colaboración con técnicos de otras universidades, han presentado los detalles de este prototipo que permite que los actores no tengan que maquillarse gracias a la proyección de luz sobre sus caras en tiempo, cuyo reto es reducir la latencia desde la captura hasta el procesamiento.

El sistema Makeup Lamps, en prototipo, supone el primero que permite el aumento dinámico en tiempo real sobre rostros humanos, en este caso actores, basado en un proyector de imágenes y luz que altera la apariencia de la cara. Un proyecto fruto de la investigación de Amit Bermano y Anselm Grundhöfer, del laboratorio Disney Research Zurich (Suiza), en colaboración con Markus Billeter, de la Universidad Tecnológica Chalmers (Suecia) y Daisuke Iwai, de la Universidad de Osaka (Japón).

Uno de los retos de este sistema, que permite ‘maquillar’ dinámicamente a los actores en sus actuaciones, ha sido la latencia en cada paso de este proceso: desde la captura hasta el procesamiento, ya que como señala el documento publicado por Disney Research, una imagen se genera de acuerdo con una pose específica, pero se muestra en una configuración facial diferente en el momento en que se proyecta, y que ahora han reducido o casi eliminado.

Para ello, Makeup Lamps utiliza iluminación infrarroja, una cámara de alta velocidad y un proyector integrados en una óptica alineada por ordenador para detectar detalles y expresiones faciales, lo que permite sincronizar la lectura del rostro y la proyección de la imagen capturada sobre el mismo.

Los algoritmos de interpretación de esta animación espacial se asignan a un espacio de dimensión inferior, y el movimiento facial y deformación se suavizan, realizando una estimación de todos los parámetros para predecir los cambios en la expresión facial con un filtro adaptativo de Kalman.

Posteriormente es posible crear la apariencia deseada gracias a la interpolación de texturas offset y superponiendo diferentes imágenes en el rostro o reemplazarlo por el de otra persona (face2face), en función del tiempo, la expresión, etc, sin necesidad de marcadores o sensores de seguimiento.

[youtube]https://youtu.be/Ilgu3aFCphs[/youtube]

Otros artículos sobre Disney Research