Indeksowana nastrojami, multimodalna baza danych zmieni zasady w systemach interaktywnej muzyki Inicjatywa UE zapewnia wgląd w taksonomię relacji między muzyką, językiem i ruchem, przyczyniając się tym samym do zebrania wiedzy, którą będzie można wykorzystać w innowacyjnych systemach generowania interaktywnej muzyki i rozpoznawania muzycznych emocji. Gospodarka cyfrowa Społeczeństwo © Skye Schmidt, University of California, Irvine Główny badacz przestawianego projektu MUSICAL-MOODS Fabio Paolizzo i nadzorujący prowadzone w jego ramach działania Giovanni Costantini potwierdzają: „Wspierany z działania »Maria Skłodowska-Curie« projekt miał umożliwić klasyfikowanie i rozpoznawanie emocji oraz stanów psychicznych na podstawie danych multimedialnych pochodzących z interaktywnych i inteligentnych systemów muzycznych”. Systemy te mogą mieć różne zastosowania w takich dziedzinach, jak profilowanie użytkowników i tworzenie baz danych dla branży twórczej i mediów, poprawa dostępu do dziedzictwa muzycznego dla obywateli i naukowców, udostępnianie muzyki na żądanie, działania edukacyjne i szkoleniowe, muzykoterapia i komponowanie muzyki. Według prowadzących projekt czeka nas przyszłość, w której takie systemy przez analogie będą rozwiązywać złożone zadania, a kreatywność muzyki obliczeniowej będzie sprzyjać lepszemu zrozumieniu samych siebie. Ta wizja powiodła ich do prac nad utworzeniem multimodalnej bazy danych zawierającej dźwięki, filmy oraz dane pochodzące z rejestracji ruchu i dane językowe. Informacje te były gromadzone podczas improwizacji tanecznych, interaktywnego tworzenia muzyki i sesji wywiadów. Baza danych MUSICAL-MOODS „Baza danych MUSICAL-MOODS powstała przy zaangażowaniu 12 profesjonalnych tancerzy wykonujących aranżacje na tle zielonego ekranu przed 30-kamerowym systemem przechwytywania ruchu Vicon i interaktywnym systemem muzycznym VIVO”, zapewnia Paolizzo. Dodaje: „Nasze badania koncentrowały się na muzyce elektroakustycznej, która obok innych nastrojów, może wywołać u tancerzy niepokój. Utworzyliśmy ponad 100 klipów multimedialnych, co przekłada się na 300 minut w każdym z trybów akwizycji. W sumie zebraliśmy ponad 1 TB danych dźwiękowych, filmowych i pochodzących z rejestracji ruchu”. Aby osiągnąć ten cel, w projekcie zastosowano multidyscyplinarne narzędzia i metody z zakresu nauki (nauk kognitywnych, interakcji człowieka z komputerem, uczenia maszynowego, przetwarzania języka naturalnego i przetwarzania sygnałów), sztuki (muzyki, tańca, rejestracji ruchu i animacji 3D) oraz nauk humanistycznych (muzykologii, historii muzyki i filozofii). Baza danych powstała w ramach projektu MUSICAL-MOODS została wykorzystana w wielu przedsięwzięciach artystycznych, podczas których posługiwano się interaktywnymi i/lub inteligentnymi systemami oraz algorytmami multimedialnymi. „Na podstawie tych doświadczeń, a także dzięki pomocy ekspertów z tej dziedziny opracowaliśmy model klasyfikacji nastroju muzyki i związanych z tym danych. Osiągnęliśmy wiarygodne i znaczące wyniki ze średnią dokładnością klasyfikacji (88 %) i zdecydowaną poprawę w zakresie średniego błędu kwadratowego w porównaniu do istniejącego stanu techniki”, podkreśla Costantini. W celu zaprojektowania i udoskonalenia algorytmów klasyfikacji wdrożono multimodalną grę z celem (M-GWAP), którą udostępniono internautom. Gra M-GWAP jest ukierunkowana na emocje i stany psychiczne wywoływane u użytkowników, a wyrażane przez muzykę oraz związane z nią dane multimedialne. Gra wykorzystuje podejście mądrości tłumu w celu wprowadzania adnotacji przez zabawne i niedrogie w realizacji interakcje z użytkownikami. Kolejne kroki „Gra M-GWAP zostanie wykorzystana do modelowania danych językowych pochodzących z wywiadów z tancerzami, nagranych w ramach projektu”, informuje Paolizzo. Modelowanie językowe pomoże ocenić stany psychiczne i emocje tancerzy bezpośrednio po spektaklu. Trwająca już synchronizacja danych pozwoli na zbadanie, w jaki sposób za pomocą dźwięku, filmu czy technik rejestracji ruchu można indukować lub wyrażać emocje i stany psychiczne. Pomoże to lepiej zrozumieć wpływ różnych mediów na indukcję i ekspresję nastroju oraz to, jakie są ich czasowe odniesienia i wartości oczekiwane. Na przykład melodia może wywołać pewne odczucia, ale następująca potem warstwa tekstowa towarzysząca dokładnie tej samej muzyce może radykalnie zmienić ten nastrój. Słowa kluczowe MUSICAL-MOODS, interaktywny, emocje, stany psychiczne, dane multimedialne, inteligentny system muzyczny
