Multisense y SimSensei: plataforma virtual interactiva como ayuda terapéutica

Institute for Creative Technologies (ICT) de la Universidad del Sur de California (USC) ha desarrollado la tecnología interactiva Multisense, que analiza las expresiones y patrones humanos en tiempo real como apoyo terapéutico.

Referente en investigación y desarrollo de tecnología avanzada de humanos virtuales, el Institute for Creative Technologies (instituto de tecnologías creativas ICT) de la USC ha desarrollado, con expertos en psicología clínica, ciencia cognitiva, visión artificial, etc; la tecnología interactiva Multisense para ayuda terapéutica y sanitaria.

MultiSense es un software que rastrea y analiza automáticamente las expresiones faciales en tiempo real, la postura corporal, características acústicas, patrones lingüísticos y descriptores de comportamiento de alto nivel (por ejemplo, atención, inquietud,..).

A partir de estas señales y comportamientos, los indicadores de malestar psicológico humano son captados por el avatar virtual. Por su parte, SimSensei es una plataforma humana virtual diseñada específicamente para el apoyo en salud.

SimSensei permite una interacción cara a cara, en la cual el humano virtual participa y reacciona automáticamente a la situación percibida por el usuario y la intención, a través de su propia voz y gestos.

Esta plataforma pretende ser una herramienta de apoyo para los profesionales de la salud y terapéutica, y no para el tratamiento o diagnóstico médico, ya que cumple el rol de un psicoterapeuta virtual, sin necesidad de una persona que lo controle, sino que escuche e interactúe como terapia.

Estos desarrollos utilizan la tecnología de captura visual de Microsoft Kinect para analizar expresiones faciales, posturas corporales, detalles sonoros, patrones lingüísticos y complejos detectores de comportamiento en tiempo real, a través de algoritmos visuales.

Todos estos elementos permiten al humano virtual captar cualquier duda o reacción y, mediante el análisis de los datos recabados, detectar trastornos psicológicos, con una efectividad de diagnóstico en casos de depresión de un 90%, según los expertos.Louis-Philippe Morency y Albert Rizzo, investigadores del ICT, han sido los principales responsables de este proyecto.

Más humanos virtuales

El instituto de tecnologías creativas (ICT) ha desarrollado numerosos humanos-avatares virtuales interactivos para una amplia gama de aplicaciones, desde el terapeuta descrito anteriormente hasta un guía de museos, alguien con quien charlar o un entrenador militar.

Por ejemplo, Ellie es una simulación interactiva creada para conversar con la gente e interactuar en la conversación asintiendo y realizando preguntas sencillas que, según la conversación, guía al usuario hacia un estado de ánimo positivo.

Para lograrlo, este humano virtual (hombre o mujer) analiza miles de medidas del usuario con el que mantiene la charla virtual, que ha de contar con un ordenador equipado con cámara de vídeo, sensor Kinect y audio, para analizar expresiones, movimientos e inflexiones de voz.

Ellie analiza al detalle todos estos elementos para detectar el estado de ánimo, apatía, cambios de tono, miradas, etc. para seguir un sencillo protocolo de actuación en la conversación o escuchando al usuario. Este avatar se utiliza actualmente en el Departamento de Defensa americano como alternativa terapéutica.

Otros artículos sobre Institute for Creative Technologies-ICT, Microsoft