Substytucja sensoryczna rzuca nowe światło na procesy poznawcze i znajduje zastosowanie terapeutyczne
Łączenie sztuki i nauk, dziedzin tradycyjnie postrzeganych jako sprzeczne, znalazło żyzny grunt w obszarach takich jak edukacja, terapia i rehabilitacja. Zespół finansowanego ze środków UE projektu DANCE stwierdził, że dotyczy to w szczególności innowacji komputerowych koncentrujących się na człowieku. Projekt DANCE badał, w jaki sposób ruch ciała może być wyrażany i odbierany w kategoriach słuchowych. W ramach projektu opracowano technologie, które mierzą ekspresyjne cechy ruchu całego ciała w czasie rzeczywistym, i przekształcają gesty, czyli zjawiska wizualne, na sygnały słuchowe. Podejście to przyczyni się do rozwoju technik obrazowania mózgu, które odwzorowują korę wzrokową i słuchową osób niewidomych i widzących prawidłowo, a także może pomóc w opracowaniu nowych sposobów leczenia oraz innowacyjnych niewerbalnych interfejsów człowiek-maszyna. Oglądanie poprzez słuchanie Badania wykazały, że sonifikacja (wykorzystanie dźwięku innego niż mowa do przekazywania informacji) ruchu może zwiększyć świadomość ciała oraz wrażliwość na emocje. To odkrycie okazało się przydatne w zastosowaniach terapeutycznych. Zespół projektu DANCE zaangażował artystów, projektantów dźwięku, specjalistów w dziedzinie wzroku i neurologii społecznej, informatyków oraz inżynierów, aby dalej badać potencjał rehabilitacji i zwiększonej integracji społecznej wynikającej z przebywania w jednej przestrzeni i przeżywania wspólnych emocji przez osoby niedowidzące i widzące prawidłowo. Zespół finansowanego ze środków UE projektu DANCE już wcześniej zastosował to podejście, aby pomóc pacjentom cierpiącym na chorobę Parkinsona i zmagającym się z chronicznym bólem. W systemie opracowanym w ramach projektu wyreżyserowany choreograficznie ekspresyjny ruch tworzy treści dźwiękowe w czasie rzeczywistym. Jak wyjaśnia koordynator projektu, dr Antonio Camurri: „oznacza to, że układ taneczny sam w sobie jest projektowany jako kompozycja muzyczna, co zmienia jego tradycyjny wymiar, przekształcając go w doświadczenie słuchowe, a nie zasadniczo wizualne”. Nadrzędnym celem projektu było zbadanie, w jakim stopniu informacje multisensoryczne stwarzają ryzyko sensorycznego przeciążenia u odbiorców. „Zamiast wyostrzania zmysłów, co niesie ze sobą ryzyko stępienia doświadczenia, zespół projektu DANCE celowo zastosował deprywację sensoryczną jako środek pobudzania zmysłów”, wyjaśnia dr Camurri. W ten sposób projekt DANCE wniósł również cenny wkład do badań dotyczących plastyczności mózgu w dziedzinie neurobiologii. W ramach projektu DANCE przeprowadzono funkcjonalne badanie metodą rezonansu magnetycznego (fMRI) na ludziach celem zbadania związku między cechami ruchu, opisanymi na podstawie zautomatyzowanych analiz komputerowych klipów wideo, a aktywnością mózgu podczas oglądania tych filmów. Wyniki pokazały, że funkcje wymagające obliczeń niskiego poziomu, takich jak prędkość ruchu, są wykonywane w określonych obszarach mózgu związanych z wcześnie wykształconymi regionami wrażliwymi na ruch i sygnały wzrokowe. Natomiast cechy średniego poziomu, takie jak wyrazista płynność, są powiązane z dynamicznymi aspektami postawy zakodowanymi w różnych obszarach mózgu. Jak podsumowuje dr Camurri: „nasza analiza oparta na obliczeniach komputerowych sugeruje, że neuronowy mechanizm kodowania ruchu wykorzystuje cechy, które mają inną podstawę neuronową niż kategorie semantyczne. Oznacza to, że postrzeganie ruchu jest uporządkowane w mózgu nie tyle według kategorii semantycznych, co na podstawie cech samych ruchów ciała. Choreografowanie kolejnych kroków Zespół opracował platformę technologiczną wraz z dance.dibris.unige.it (ogólnodostępnymi bibliotekami oprogramowania). Zostały one wykorzystane na potrzeby kilku wydarzeń publicznych, doświadczeń naukowych i aplikacji mobilnych. Stworzono także publicznie dostępny zbiór danych ruchowych wraz z prototypami aplikacji dla osób niewidomych i widzących prawidłowo. We współpracy z instytutem dla osób niewidomych zespół projektu zorganizował wydarzenie publiczne pn. „Atlante del gesto Genova”, w którym uczestniczyły osoby niewidome i widzące prawidłowo. Inicjatywa ta, trwająca od listopada 2016 r. do marca 2017 r. zaowocowała stworzeniem społeczności zrzeszającej ponad 150 członków (w tym przedstawicieli społeczeństwa niebędących specjalistami). Wyniki projektu można dostosować na potrzeby generowania kreatywnych treści do terapii i rehabilitacji. Przykładowo w trakcie projektu DANCE powstało nowe laboratorium prowadzone we współpracy ze szpitalem dziecięcym Gaslini we Włoszech. To właśnie tam fizjoterapeuci wraz z inżynierami komputerowymi i naukowcami pracowali nad tworzeniem gier na potrzeby rehabilitacji. Projekt DANCE jest także bogatym źródłem inspiracji dla dalszych kierunków badań, np. w dziedzinie neurobiologii, które mają na celu odkrycie podstawowych mechanizmów neuronalnych zaangażowanych w percepcję wysokiego poziomu komunikacji afektywnej poprzez ruch, na potrzeby stworzenia nowej generacji interfejsów i aplikacji.
Słowa kluczowe
DANCE, choreografia, ruch ciała, sensoryczny, poznanie, integracja społeczna, rehabilitacja, terapia, sonifikacja, niewidomy, słuchowy
