Interactions audio-motrices et technique de jeu Des chercheurs de l'UE ont utilisé la musique du violon pour étudier les interactions audio-motrices et modéliser la technique de jeu d'un instrument pendant une interprétation musicale. Recherche fondamentale © sutsaiy, Shutterstock A partir d'une base de données créée à cet effet et rassemblant des interprétations classiques de violon, les partenaires du projet MUSMAP, financé par l'UE, ont utilisé les techniques d'analyse du mouvement et du son pour identifier et décrire des séquences d’analyse auditives et sonores. Les chercheurs ont développé des techniques d'acquisition multimodales et d'analyse de données afin de pouvoir construire des structures de modèles audio-moteurs capables de modéliser les techniques de jeu instrumental en termes numériques. Ils avaient pour objectif le développement et la validation de modèles schématiques audio-moteurs en étudiant l'enregistrement de musiciens expérimentés. Les chercheurs se sont ensuite appuyés sur ces modèles pour concevoir un système de contrôle automatique de la synthèse sonore d’un violon afin d'obtenir une architecture d'analyse à effet rétroactif par laquelle un composant de séquençage moteur est actualisé pour répondre aux caractéristiques perceptives du son synthétisé. Ce système fournit alors un cadre pour la production d’une musique assistée par ordinateur tout en servant également de banc d'essai idéal pour valider les modèles de représentation audio-motrices précédemment développés. In fine, les chercheurs ont développé de nouvelles technologies de traitement sonore de très haute qualité qui permettent la recomposition audio motrice de l’interprétation musicale d’un violon, qu’elle soit enregistrée ou en temps réel. Le projet MUSMAP a ainsi permis des progrès significatifs au niveau des techniques de synthèse sonore instrumentale en s’appuyant sur des modèles physiques fonctionnant en temps réel tout en produisant un son réaliste. Les partenaires ont par ailleurs proposé de nouvelles techniques permettant de générer des cartes de jouabilité et le contrôle automatique des modèles physiques extraits des enregistrements ou synthétisés lors de simulations. Ces étapes initiales de traitement des entrées-sorties de données constituent une base solide sur laquelle les techniques d'apprentissage en profondeur pourront être utilisées dans la conception de modèles simulant le processus de synchronisation moteur lui-même. En retour, ces modèles permettront la mise en place de réseaux d'apprentissage en profondeur capables de déterminer les mécanismes responsables de l'intégration sensorimotrice pendant le jeu instrumental en mettant en évidence les simulations simples de la fonction cérébrale en nous éclairant sur le fonctionnement de notre cerveau. MUSMAP a également permis le développement du système Repovizz, tout à la fois, une plateforme d'hébergement en ligne et protocole d'archivage des données grâce auquel des données de différentes modalités peuvent être stockées, visualisées, annotées et récupérées sélectivement. Mots‑clés Interactions audio-motrices, son du violon, MUSMAP, données multimodales, synthèse sonore
