La substitution sensorielle éclaire les processus cognitifs tout en offrant des applications thérapeutiques
L’association des arts et des sciences, qui sont traditionnellement considérés comme étant aux antipodes l’un de l’autre, a trouvé un terrain fertile dans des domaines tels que l’éducation, la thérapie et la rééducation. Le projet DANCE, financé par l’UE, a constaté que cette association était particulièrement pertinente lorsqu’elle est combinée à des innovations informatiques centrées sur l’humain. Le projet a examiné comment les mouvements corporels peuvent être exprimés et perçus en termes auditifs. Il a développé des technologies qui ont mesuré les qualités expressives des mouvements du corps entier en temps réel, en traduisant les gestes visuels en phénomènes auditifs. Tout en contribuant à l’imagerie cérébrale qui cartographie le cortex visuel et le cortex auditif des aveugles et des voyants, l’approche présente également un potentiel thérapeutique, ainsi que de nouvelles interfaces homme-machine non verbales. Voir en écoutant La recherche a démontré que la sonification (utilisation de l’audio sans paroles pour transmettre des informations) des mouvements peut augmenter la conscience du corps, tout en exacerbant la sensibilité aux émotions. Cette découverte s’est avérée utile lorsqu’elle a été appliquée à des initiatives thérapeutiques. DANCE a rassemblé des artistes de scène, des concepteurs de sons, des neuroscientifiques sociaux et de la vision, des informaticiens et des ingénieurs pour examiner plus en détail le potentiel pour la rééducation et une meilleure inclusion sociale offert par le partage d’espaces et d’émotions entre les malvoyants et les voyants. L’équipe de DANCE, financée par l’UE, a déjà adopté l’approche pour aider les patients atteints de la maladie de Parkinson et ceux souffrant de douleurs chroniques. Dans le cadre du projet, les mouvements expressifs chorégraphiés créent véritablement du contenu sonore en temps réel. Le Dr Antonio Camurri, coordinateur du projet, explique: «Cela signifie que la danse elle-même est alors conçue comme une composition musicale, en changeant sa dimension traditionnelle pour proposer une expérience auditive plutôt qu’une expérience visuelle». Un point important du projet consistait à examiner la manière dont les informations multisensorielles courent le risque de créer une surcharge sensorielle chez ceux qui les perçoivent. «Ainsi, au lieu de développer les sens, avec le risque inhérent de nuire à l’expérience, DANCE a procédé en créant délibérément une privation sensorielle afin d’affûter les sens», explique le Dr Camurri. En procédant de la sorte, DANCE a également contribué à des études neuroscientifiques portant sur la plasticité du cerveau. DANCE a mené une étude d’imagerie par résonance magnétique fonctionnelle (IRMf) pour examiner la relation entre les caractéristiques des mouvements, obtenues à partir d’analyses informatiques automatisées de clips vidéo, et l’activité cérébrale durant la perception des vidéos. Les résultats ont montré que les caractéristiques qui nécessitent un calcul de faible niveau, comme la vitesse du mouvement, sont associées à certaines zones du cerveau liées à des régions sensibles visuelles et mobiles précoces. Tandis que les caractéristiques de niveau intermédiaire, comme la fluidité expressive, sont liées aux aspects dynamiques de la posture encodée dans différentes zones du cerveau. Comme le résume le Dr Camurri: «Notre analyse basée sur la caractéristique informatique suggère que le mécanisme neural de l’encodage du mouvement recourt à des caractéristiques qui ont une base neurale différente des catégories sémantiques. En d’autres termes, la perception du mouvement est organisée dans le cerveau non pas tant par des catégories sémantiques que par les caractéristiques des mouvements corporels eux-mêmes». Chorégraphier les prochaines étapes L’équipe a mis au point une plateforme technologique en plus de dance.dibris.unige.it (bibliothèques logicielles disponibles gratuitement). Ces dernières ont été adoptées pour plusieurs événements publics, pour des expériences scientifiques et des applications mobiles. Un ensemble de données de mouvements accessible au public a également été créé en même temps que des prototypes d’applications pour les personnes aveugles et les voyants. Le principal événement public du projet, intitulé «Atlante del gesto Genova», qui comprenait la participation de personnes aveugles et de voyants, et d’un institut pour personnes aveugles, a eu lieu entre novembre 2016 et mars 2017 et a permis la création d’une communauté permanente de plus de 150 participants (y compris des membres non spécialistes du public). Les travaux peuvent être adaptés pour générer du contenu créatif à des fins de thérapie et de rééducation. Par exemple, un nouveau laboratoire travaillant conjointement avec l’hôpital pour enfants Gaslini en Italie a vu le jour durant DANCE. Ici, des kinésithérapeutes associés à des informaticiens et des chercheurs ont collaboré pour créer des jeux destinés à la rééducation. DANCE a également représenté une riche source d’inspiration pour d’autres orientations en matière de recherche, comme des études neuroscientifiques visant à exposer les mécanismes neuraux sous-jacents impliqués dans la perception de la communication affective de haut niveau par le mouvement, dans le but de créer une génération de nouvelles interfaces et d’applications.
Mots‑clés
DANCE, chorégraphie, mouvement corporel, sensoriel, cognition, inclusion sociale, rééducation, thérapie, sonification, aveugle, auditif
