Integrating psychology and virtual reality to enable dynamic posture recognition and delivery

ANR-PRC (ANR-22-CE38-0010-01) : access to the website.

Emotions are major cues in human communication to understand other’s mental states and to provide appropriate responses. As a complex phenomenon, they are expressed through different channels: verbal, facial (e.g. Emotional Facial Expressions – EFE-) or bodily. The POSTURE project aims to determine the role of dynamic posture in nonverbal communication, using new technologies such as motion capture and virtual reality.

Context and objectives

Nowadays, knowledge about the influence of postural cues on emotional expression is limited. In an integrative perspective, many questions arise: are they reinforcers, or complements to EFEs, or intrinsic cues? Do certain body segments stand out in the transmission of an emotion? Are there gender differences? Is the role of postures the same whatever the type of emotion (basic, social)? Answering these questions require tackle unsolved questions in both psychology and Virtual Reality. To address this challenge, computer scientists have to go beyond the limits of current technologies, combining imaging and AI (machine learning).

Method

By combining multidisciplinary expertise in motion capture, computation (LICIIS, URCA), avatar’s restitution (ICUBE, UNISTRA) and experimental psychology (C2S), we plan to achieve these objectives by providing an open-access database of animated avatars delivering postures with or without EFE.

Impact

This project, and its database outcome, is intended to serve as a reference to future SHS studies but could also have a large impact in virtual reality applications in domains with social interaction, such as education, learning, clinical rehabilitation or professional insertion.

French.

Les émotions constituent des indices majeurs en communication humaine pour comprendre les états mentaux d’autrui et fournir une réponse adaptée. En tant que phénomène complexe, celles-ci s’expriment à travers différents canaux : verbaux, faciaux (e.g. Expressions Faciales Emotionnelles -EFE-) ou corporels.

Le projet POSTURE vise à déterminer le rôle des postures dynamiques dans la communication non-verbale, et ce par le biais des nouvelles technologies telles que la captation de mouvement et la réalité virtuelle.

Contexte & objectifs

A l’heure actuelle, les connaissances relatives à l’influence des indices posturaux dans l’expression émotionnelle sont limitées. Dans une perspective intégrative, de multiples questions émergent : constituent-ils des renforçateurs, des compléments aux EFE ou des indices intrinsèques ? Certains segments corporels se distinguent-ils dans la transmission d’une émotion ? Existe-t-il des différences selon le genre ? Le rôle des postures est-il le même quel que soit le type d’émotion (basique, sociale) ?

Répondre à ces problématiques nécessite d’aborder certaines questions non résolues à la fois en psychologie et en réalité virtuelle. Pour relever ce défi, les sciences de l’informatique doivent dépasser les limites des technologies actuelles en combinant l’imagerie et l’IA (machine learning).

Méthode

Par la combinaison pluridisciplinaire d’expertises en capture de mouvement, en computation (LICIIS, URCA), en restitution sur avatar (ICUBE, UNISTRA) et en psychologie expérimentale (C2S), nous prévoyons d’atteindre ces objectifs en fournissant une base de données en libre accès d’avatars animés produisant des postures, avec ou sans EFE.

Impact

Ce projet, ainsi que la base de données résultante, est destiné à servir de référence pour de futures études en SHS, mais pourra également avoir des applications en réalité virtuelle dans des domaines requérant des interactions sociales, tels que l’éducation, l’apprentissage, la réhabilitation clinique ou l’insertion professionnelle.