Koordynacja słuchowo-ruchowa a technika gry na instrumencie
Badacze biorący udział w finansowanym ze środków UE projekcie MUSMAP zidentyfikowali, z wykorzystaniem technik analizy ruchu i dźwięku, sekwencje dźwiękowe i ruchowe w koncertach klasycznej muzyki smyczkowej zapisanych w specjalnie stworzonej bazie danych. Opracowali też metody multimodalnego pozyskiwania i analizy danych, na podstawie których będzie można skonstruować wzorce słuchowo-ruchowe umożliwiające matematyczne modelowanie technik gry na instrumentach. Podstawowym celem zespołu było stworzenie i przetestowanie modeli wzorców słuchowo-ruchowych na przykładzie nagrań z występów zawodowych muzyków. Modele te zostały następnie wykorzystane do budowy systemu do automatycznego sterowania syntezą dźwięku skrzypiec, posiadającego zamkniętą, jednokierunkową architekturę, w której człon odpowiadający za sekwencjonowanie ruchu jest aktualizowany zależnie od cech percepcyjnych syntetyzowanego dźwięku. System stanowi podstawę do tworzenia muzyki wspomaganej komputerowo oraz jest idealną platformą testową do sprawdzania poprawności tworzonych modeli wzorców słuchowo-ruchowych. Na koniec uczestnicy projektu opracowali nowe technologie przetwarzania dźwięku wysokiej jakości, które pozwolą na tworzenie map czynności słuchowo-ruchowych na podstawie nagrań muzyki smyczkowej lub wykonań w czasie rzeczywistym. W ramach projektu MUSMAP dokonano znacznych postępów w zakresie syntezowania dźwięku instrumentów muzycznych w oparciu o fizyczne modele działające w czasie rzeczywistym i generujące realistyczny dźwięk. Dodatkowo zespół przedstawił nowe techniki tworzenia map grywalności oraz automatycznego sterowania modelami fizycznymi powstałymi na bazie nagrań lub muzyki syntetyzowanej podczas symulacji. Te pierwsze kroki w zakresie przetwarzania sygnałów wejściowych/wyjściowych stanowią solidną podstawę umożliwiającą zastosowanie technik głębokiego uczenia do projektowania modeli zdolnych do symulowania procesu synchronizacji ruchu. To pozwoli zbudować sieci neuronowe uczące się gry na instrumencie muzycznym i określić mechanizmy sterujące koordynacją słuchowo-ruchową. Takie sieci będą w stanie symulować proste funkcje mózgu, co z pewnością dostarczy nam wielu nowych informacji o jego pracy. Ostatnim osiągnięciem zespołu MUSMAP jest stworzenie systemu Repovizz – zdalnej platformy hostingowej ze specjalnym protokołem archiwizacji danych pozwalającym przechowywać, wizualizować, komentować i selektywnie przywoływać dane o różnych modalnościach.
Słowa kluczowe
Koordynacja słuchowo-ruchowa, muzyka smyczkowa, MUSMAP, dane multimodalne, powstawanie dźwięku
