Une base de données multimodale indexée sur les émotions change la donne pour les systèmes musicaux interactifs
En présentant le projet MUSICAL-MOODS, Fabio Paolizzo, chercheur principal du projet, et Giovanni Costantini, son superviseur, déclarent: «Entrepris avec le soutien du programme Actions Marie Skłodowska-Curie, le projet avait pour ambition d’offrir la capacité de classifier et de reconnaître les émotions et les états mentaux à partir de données multimédia dans des systèmes musicaux interactifs et intelligents.» Ces systèmes peuvent être utilisés dans diverses applications telles que le profilage des utilisateurs et des bases de données pour les industries créatives et médiatiques, l’amélioration de l’accès des citoyens et des chercheurs au patrimoine musical, les services audio à la demande, les activités liées à l’éducation et à la formation, la musicothérapie ou la composition musicale. Le projet envisage un avenir où de tels systèmes pourront établir des analogies afin de résoudre des tâches complexes et où la créativité musicale informatique nous permettra de mieux nous comprendre. En se basant sur cette vision, le projet s’est efforcé de développer une base de données multimodale comprenant des données audio, vidéo, de capture de mouvement et relatives au langage. Ce développement a été réalisé en faisant appel à des danseurs se livrant à des improvisations de danse, en générant de la musique interactive et en menant des séances conversationnelles.
La base de données MUSICAL-MOODS
«La base de données MUSICAL-MOODS a été créée avec douze danseurs professionnels évoluant dans un studio tapissé d’un fond vert et équipé d’un système de capture de mouvement Vicon, comprenant 30 caméras, ainsi que du système de musique interactive VIVO», confirme Fabio Paolizzo. Il ajoute: «Nous avons concentré nos recherches sur la musique électroacoustique susceptible de provoquer de l’anxiété chez les danseurs, ainsi que d’autres humeurs. Nous avons créé plus de 100 clips multimédia, correspondant à une durée de 300 minutes pour chaque mode d’acquisition et à un total de plus de 1 To de données audio, vidéo et de capture de mouvement.» Pour cela, le projet a adopté des outils et des méthodes multidisciplinaires issus des sciences dures (sciences cognitives, interactions homme-machine, apprentissage automatique, traitement du langage naturel et traitement du signal), des arts (musique, danse, capture de mouvement et animation 3D) et des sciences humaines (musicologie, histoire de la musique et philosophie). MUSICAL-MOODS a employé cette base de données dans de nombreux projets artistiques adoptant des systèmes et des algorithmes multimédia interactifs et/ou intelligents pour traiter les signaux audio et vidéo. «À partir de ces expériences, nous avons pu élaborer un modèle de classification des ambiances musicales et des données correspondantes, en nous appuyant également sur des experts en la matière. Nous avons obtenu des résultats probants et significatifs en ce qui concerne la précision moyenne de la classification (88 %) et observé de fortes améliorations en termes d’erreur quadratique moyenne par rapport à l’état de l’art», souligne Giovanni Costantini. Un jeu multimodal avec un but (M-GWAP pour multimodal game with a purpose) destiné aux internautes a été déployé pour concevoir et améliorer les algorithmes de classification. M-GWAP cible les émotions et les états mentaux susceptibles d’émerger chez les utilisateurs et exprimés au travers de la musique et des données multimédia associées. Le jeu exploite l’approche dite «wisdom-of-the-crowds» (sagesse populaire) afin de générer des annotations par le biais d’interactions utilisateur amusantes et arentables.
Les prochaines étapes
«M-GWAP permettra de modéliser les données linguistiques issues des entretiens menés auprès des danseurs dans le cadre du projet», indique Fabio Paolizzo. La modélisation du langage aidera à évaluer les états mentaux et les émotions des danseurs au moment qui suit immédiatement l’acquisition des prestations. La synchronisation, déjà en cours sur l’ensemble des données, permettra d’étudier comment les émotions et les états mentaux peuvent être induits ou exprimés via l’audio, la vidéo et la capture de mouvement. Cela aidera à mieux comprendre comment les différents médias influencent le déclenchement et l’expression de l’humeur et quelles sont leurs références temporelles croisées ainsi que leur valence. Par exemple, une mélodie peut nous amener à ressentir une certaine chose, tandis que des paroles chantées ultérieurement dans le même morceau peuvent changer radicalement la signification de cette émotion.
Mots‑clés
MUSICAL-MOODS, interactif, émotions, états mentaux, données multimédia, système de musique intelligent
