Le interazioni uditivo-motorie e le tecniche di utilizzo degli strumenti musicali
Il progetto MUSMAP, finanziato dall’UE, ha utilizzato le tecniche di analisi del movimento e del suono per identificare e descrivere le sequenze di analisi uditive e sonore di un database di esibizioni di musica classica suonata con il violino creato specificamente per questo scopo. Il team ha sviluppato tecniche per l’acquisizione e l’analisi dei dati multimodali, al fine di elaborare schemi di pattern uditivo-motori che permettessero di modellare le tecniche di utilizzo degli strumenti musicali da un punto di vista computazionale. Lo scopo dell’iniziativa era lo sviluppo e il test di modelli di rappresentazione dei pattern uditivo-motori attraverso lo studio delle registrazioni eseguite da musicisti addestrati. Gli scienziati hanno utilizzato questi modelli per progettare un sistema per il controllo automatico della sintesi del suono del violino al fine di fornire un’architettura di avanzamento, a ciclo chiuso, in base alla quale è stato possibile aggiornare un componente di sequenziamento motorio in risposta alle caratteristiche percettive del suono sintetizzato. In tal modo, il consorzio ha ottenuto una struttura per la produzione di musica digitale, utilizzabile anche come ambiente di test ideale per la convalida dei modelli di rappresentazione uditivo-motoria sviluppati. I ricercatori, infine, hanno sviluppato tecnologie di elaborazione del suono innovative e di alta qualità, per consentire una nuova mappatura uditivo-motoria delle performance di violino registrate in tempo reale. Il progetto MUSMAP ha permesso importanti passi avanti delle tecniche di sintesi del suono degli strumenti musicali basate su modelli fisici che operano in tempo reale e che riescono a produrre un suono realistico. Ha inoltre proposto nuove tecniche per la generazione di mappe suonabili e per il controllo automatico dei modelli fisici tratti dalle registrazioni o sintetizzati durante le simulazioni. Questi primi passi dell’elaborazione input-output rappresentano una solida base per l’utilizzo delle tecniche di deep learning nella progettazione di modelli capaci di simulare lo stesso processo di sincronizzazione motoria. I risultati potrebbero essere utilizzati per realizzare reti di deep learning che permettano di suonare uno strumento e che siano in grado di determinare i meccanismi alla base dell’integrazione sensoriale-motoria, evidenziando semplici stimolazioni della funzione cerebrale utili per comprendere meglio il modo in cui funziona il nostro cervello. Il team MUSMAP ha inoltre contribuito allo sviluppo del sistema Repovizz, una piattaforma di hosting remoto e un protocollo di archiviazione dei dati grazie al quale è possibile memorizzare, visualizzare, annotare e richiamare in modo selettivo dati di diverse modalità.
Parole chiave
Interazioni uditivo-motorie, musica di violino, MUSMAP, dati multimodali, sintesi del suono
