Multisense 和 SimSensei: 交互式虚拟平台作为治疗辅助工具

创意技术研究所 (信息通信技术) 南加州大学 (乌斯克) 开发了交互技术Multisense, que analiza las expresiones y patrones humanos en tiempo real como apoyo terapéutico.

Referente en investigación y desarrollo de tecnología avanzada de humanos virtuales, 这 创意技术研究所 (instituto de tecnologías creativas ICT) de la USC ha desarrollado, con expertos en psicología clínica, ciencia cognitiva, 机器视觉, 等; la tecnología interactiva Multisense para ayuda terapéutica y sanitaria.

MultiSense es un software que rastrea y analiza automáticamente las expresiones faciales en tiempo real, la postura corporal, características acústicas, patrones lingüísticos y descriptores de comportamiento de alto nivel (例如, atención, inquietud,..).

A partir de estas señales y comportamientos, los indicadores de malestar psicológico humano son captados por el avatar virtual. 就其而言, SimSensei es una plataforma humana virtual diseñada específicamente para el apoyo en salud.

SimSensei permite una interacción cara a cara, en la cual el humano virtual participa y reacciona automáticamente a la situación percibida por el usuario y la intención, a través de su propia voz y gestos.

Esta plataforma pretende ser una herramienta de apoyo para los profesionales de la salud y terapéutica, y no para el tratamiento o diagnóstico médico, ya que cumple el rol de un psicoterapeuta virtual, sin necesidad de una persona que lo controle, sino que escuche e interactúe como terapia.

Estos desarrollos utilizan la tecnología de captura visual de 微软 Kinect para analizar expresiones faciales, posturas corporales, detalles sonoros, patrones lingüísticos y complejos detectores de comportamiento en tiempo real, a través de algoritmos visuales.

Todos estos elementos permiten al humano virtual captar cualquier duda o reacción y, mediante el análisis de los datos recabados, detectar trastornos psicológicos, con una efectividad de diagnóstico en casos de depresión de un 90%, según los expertos.Louis-Philippe Morency y Albert Rizzo, investigadores del ICT, han sido los principales responsables de este proyecto.

Más humanos virtuales

El instituto de tecnologías creativas (信息通信技术) ha desarrollado numerosos humanos-avatares virtuales interactivos para una amplia gama de aplicaciones, desde el terapeuta descrito anteriormente hasta un guía de museos, alguien con quien charlar o un entrenador militar.

例如, Ellie es una simulación interactiva creada para conversar con la gente e interactuar en la conversación asintiendo y realizando preguntas sencillas que, según la conversación, guía al usuario hacia un estado de ánimo positivo.

要做到这一点, este humano virtual (hombre o mujer) analiza miles de medidas del usuario con el que mantiene la charla virtual, que ha de contar con un ordenador equipado con cámara de vídeo, sensor Kinect y audio, para analizar expresiones, movimientos e inflexiones de voz.

Ellie analiza al detalle todos estos elementos para detectar el estado de ánimo, apatía, cambios de tono, miradas, 等. para seguir un sencillo protocolo de actuación en la conversación o escuchando al usuario. Este avatar se utiliza actualmente en el Departamento de Defensa americano como alternativa terapéutica.

其他文章 创意技术研究所-ICT, 微软