Homme et machine interagissent pour faire une meilleure musique
Les technologies numériques s’immiscent dans quasiment tous les aspects de nos vies et sont de plus en plus étroitement interconnectées avec la société. Avec ce mouvement naît le désir de créer des moyens d’interaction plus naturels entre humains et ordinateurs. Les chercheurs espèrent intégrer les interactions homme-machine (IHM) à de nouveaux éléments de la vie, notamment dans la culture, les émotions et l’expérience. Les mouvements du corps offrent un moyen d’y parvenir. Le projet MIM a créé un nouveau type d’instrument de musique numérique basé sur des mécanismes d’apprentissage sensorimoteur, étroitement liés aux mouvements du corps. Cette recherche a été entreprise avec le soutien du programme Marie Skłodowska-Curie. «La performance musicale est souvent considérée comme l’un des aboutissements les plus spectaculaires des compétences humaines», déclare M. Baptiste Caramiaux de l’Université Paris-Saclay, chercheur au Centre national de la recherche scientifique(s’ouvre dans une nouvelle fenêtre) (CNRS) et chercheur principal du projet MIM. «Étonnamment, on ne comprend toujours pas quel est l’impact concret de la pratique sur l’acquisition des compétences musicales. Nous savons que certains mouvements et exercices doivent être répétés. Mais la répétition est-elle la meilleure stratégie?» Dans ce contexte, le projet MIM a cherché à savoir s’il était préférable de répéter des séquences de mouvements afin de les acquérir ou de varier ces mouvements au cours de la pratique. En définitive, l’idée consiste à construire une technologie interactive qui puisse guider les musiciens pendant la pratique. La créativité humaine en perspective Plusieurs composantes technologiques ont été impliquées dans le projet. La première concernait les dispositifs utilisés pour capturer les mouvements humains pendant l’exécution musicale, en se concentrant sur le piano. Un système de capture de mouvement à la pointe de la technologie a été mis en place, basé sur des marqueurs réfléchissants disposés sur les doigts de l’interprète et suivis par un ensemble de 10 caméras infrarouges entourant ce dernier. Cela a permis aux chercheurs d’extraire les positions des doigts avec une résolution temporelle et spatiale élevée. Un deuxième aspect avait trait à l’analyse des mouvements, utilisant un ensemble d’algorithmes pour analyser les mouvements des doigts et récolter des informations. L’équipe MIM a développé deux types d’outils: certains analysent l’amélioration du mouvement au fil du temps et d’autres sont capables d’apprendre la structure de la variabilité du mouvement. Les résultats ont montré que la variabilité des mouvements pouvait être un mécanisme constructif dans l’acquisition de compétences musicales. En particulier, cette variation de mouvements lors de l’apprentissage de nouvelles compétences musicales peut s’avérer à la fois bénéfique pour l’apprentissage et constituer un moyen d’apposer la «signature» d’un individu sur la musique qu’il crée. «L’impact est important. Comprendre la structure de la variabilité du mouvement peut aider à concevoir des systèmes interactifs basés sur le mouvement, capables de mieux comprendre et de favoriser l’apprentissage du mouvement humain», déclare Baptiste Caramiaux. Améliorer l’ingéniosité humaine L’objectif principal du projet consistait à améliorer les performances musicales d’une manière générale, en proposant des moyens d’acquérir des compétences musicales plus efficacement. «Cela peut sembler très ambitieux, et c’est le cas», déclare Baptiste Caramiaux. Les applications peuvent également aller au-delà de la musique. «Je collabore avec des chercheurs de l’Ircam et de l’Université de la Sorbonne(s’ouvre dans une nouvelle fenêtre), à Paris, sur les systèmes musicaux appliqués à la rééducation motrice», explique Baptiste Caramiaux. La prochaine étape consiste à concevoir des systèmes interactifs capables de guider les musiciens dans leur pratique. De tels systèmes, faisant intervenir des méthodes d’apprentissage automatique, seraient en mesure d’apprendre comment les musiciens apprennent et de s’adapter en conséquence. «Les résultats que nous avons obtenus sont très prometteurs et ont façonné mon programme de recherche actuel et futur au CNRS: utiliser l’apprentissage automatique pour soutenir et stimuler l’apprentissage et la créativité chez l’humain», ajoute Baptiste Caramiaux.
Mots‑clés
MIM, apprentissage automatique, créativité, musique, pratique, algorithmes, perspectives
