Una banca dati multimodale e indicizzata in base allo stato d’animo sta rivoluzionando i sistemi musicali interattivi
Presentando il progetto MUSICAL-MOODS, Fabio Paolizzo, ricercatore principale, e Giovanni Costantini, supervisore del progetto affermano: «Con il sostegno del programma Marie Skłodowska-Curie, il progetto mirava a consentire la capacità di classificare e riconoscere emozioni e stati mentali da dati multimediali in sistemi musicali interattivi e intelligenti». Questi sistemi possono essere utilizzati in varie applicazioni, quali la profilazione di utenti e banche dati per industrie creative e del settore dei media, migliorando l’accesso di cittadini e ricercatori al patrimonio musicale, servizi per audio on demand, attività di istruzione e formazione, musicoterapia e produzione musicale. Il progetto immagina un futuro in cui tali sistemi possano stabilire analogie per risolvere compiti complessi e la creatività musicale computazionale supporti una migliore comprensione di noi stessi. Partendo da questa visione, il progetto ha lavorato allo sviluppo di una banca dati multimodale composta da dati relativi ad audio, video, acquisizione delle immagini in movimento e linguaggio, realizzata con ballerini impegnati nell’improvvisazione della danza, nella generazione di musica interattiva e in interviste.
Banca dati di MUSICAL-MOODS
«La banca dati di MUSICAL-MOODS è stata creata con 12 ballerini professionisti in un ambiente green screen dotato di un sistema di acquisizione delle immagini in movimento Vicon a 30 telecamere e del sistema musicale interattivo VIVO», conferma Paolizzo, che aggiunge: «Abbiamo concentrato l’indagine sulla musica elettroacustica che poteva indurre ansia nei ballerini, insieme ad altri stati d’animo. Abbiamo creato più di 100 clip multimediali e 300 minuti di durata per ciascuna modalità di acquisizione, per un totale di oltre 1 TB di dati audio, video e di acquisizione delle immagini in movimento». Per fare ciò, il progetto ha adottato strumenti e metodi multidisciplinari dalle scienze (scienze cognitive, interazione uomo-computer, apprendimento automatico, elaborazione del linguaggio naturale ed elaborazione del segnale), dalle arti (musica, danza, acquisizione delle immagini in movimento e animazione 3D) e dalle scienze umane (musicologia, storia della musica e filosofia). MUSICAL-MOODS ha utilizzato la banca dati in numerosi progetti artistici adottando sistemi multimediali interattivi e/o intelligenti e algoritmi per l’elaborazione dei segnali audio e video. «Da queste esperienze abbiamo ricavato un modello per una classificazione della musica e dei dati associati in base allo stato d’animo, facendo leva anche sugli esperti del settore. Abbiamo ottenuto risultati decisamente notevoli per l’accuratezza della classificazione media (88 %) e forti miglioramenti per valore quadratico medio dell’errore di fase rispetto allo stato dell’arte», sottolinea Costantini. Un gioco multimodale con uno scopo (M-GWAP) per gli utenti di Internet è stato implementato per progettare e migliorare gli algoritmi di classificazione. M-GWAP si pone come obiettivo le emozioni e gli stati mentali che possono essere indotti negli utenti ed espressi attraverso la musica e i dati multimediali associati. Il gioco sfrutta l’approccio della saggezza della folla per generare annotazioni attraverso interazioni utente divertenti ed economiche.
Prossimi passi
«M-GWAP verrà utilizzato per modellare i dati linguistici derivanti dalle interviste ai ballerini realizzate nell’ambito del progetto», riferisce Paolizzo. La modellazione del linguaggio contribuirà a valutare gli stati mentali e le emozioni dei ballerini nel momento immediatamente successivo all’acquisizione della prestazione. La sincronizzazione già in corso sul set di dati consentirà di approfondire come le emozioni e gli stati mentali possono essere indotti o espressi tramite audio, video e acquisizione delle immagini in movimento. Ciò aiuterà a comprendere meglio come i diversi media influenzino l’induzione e l’espressione dello stato d’animo e cosa si intenda per riferimento incrociato temporale e valenza. Ad esempio, una melodia potrebbe indurci a sentirci in un certo modo, mentre il testo della stessa musica potrebbe cambiare radicalmente il significato di quello stato d’animo.
Parole chiave
MUSICAL-MOODS, interattivo, emozioni, stati mentali, dati multimediali, sistema musicale intelligente
