Postrzeganie świata poprzez jednoczesne przetwarzanie wielu bodźców
Łączenie informacji dostarczanych przez kilka zmysłów pomaga w wyborze i podejmowaniu odpowiednich działań. Na przykład „jeśli coś bardzo dokładnie widzimy, niekoniecznie będziemy potrzebować mechanizmu łączącego bodźce z wielu zmysłów, aby zadecydować, czy podjąć działanie. Jednak jeśli idziemy przez las po zmierzchu, słabo słyszalny odgłos wycia może pomóc w dostrzeżeniu ledwie widocznego wśród unoszącej się mgły psa. W takim kontekście połączenie tych dwóch informacji będzie miało kluczowe znaczenie w zadecydowaniu, czy musimy podjąć jakieś działanie”, zauważa Manuel Mercier, koordynator finansowanego ze środków UE projektu MIMe.
Od podejścia indywidualnego do multimodalnego
MIMe, projekt finansowany w ramach działań Maria Skłodowska-Curie, zajął się zbadaniem tej złożonej interakcji między zmysłami a procesem podejmowania decyzji. Percepcyjne podejmowanie decyzji – proces, który kieruje naszym zachowaniem – można podzielić na etap kodowania sensorycznego (w ramach którego w odpowiedniej korze czuciowej kodowany jest sygnał sensoryczny) i etap podejmowania decyzji. „Naszym celem było ustalenie, czy informacje sensoryczne pochodzące z różnych zmysłów łączą się ze sobą już w momencie dotarcia do mózgu, czyli na etapie kodowania, czy też dopiero na etapie podejmowania decyzji. Ponadto staraliśmy się zidentyfikować mechanizmy neuronowe i architekturę odpowiadające za współdziałanie wielu zmysłów”, wyjaśnia Mercier.
Kontrolowanie fal mózgowych
Nowe odkrycia, które niedawno znalazły się w centrum zainteresowania, sugerują, że przekazywanie informacji w sieci mózgowej opiera się na falach mózgowych, które odzwierciedlają zmiany w aktywności neuronalnej. Kiedy dwie grupy neuronów oscylują w fazie, są bardziej skłonne do wymiany informacji. Choć potrzebne jest przeprowadzenie dalszych badań w tym kierunku, dotychczasowe wyniki ujawniają istnienie potencjalnego mechanizmu neuronalnego, który może służyć mózgowi do łączenia bodźców sensorycznych w celu stworzenia konstruktu multimodalnego. „Zespół projektu MIMe zbadał, czy multimodalne łączenie bodźców opiera się na synchronizacji faz pomiędzy odległymi węzłami sieci neuronowej”, dodaje Manuel Mercier.
„Nadawanie kształtu” temu, co słyszymy
Aby osiągnąć swoje cele, badacze projektu najpierw przeprowadzili badania na pacjentach, którym na potrzeby kliniczne wszczepiono elektrody wewnątrzczaszkowe. Podczas pokazywania uczestnikom iluzorycznych konturów, którym towarzyszył dźwięk, skupiono się na rejestracji wewnątrzczaszkowych fal mózgowych. Co ciekawe, badacze zaobserwowali duży stopień synchronizacji w aktywności fal mózgowych kory słuchowej i wzrokowej. „Ta komunikacja pomiędzy odległymi populacjami neuronów reprezentuje kodowanie obiektu multimodalnego: informacje słuchowe wpływały na to, co wydawało się im, że widzą, a mianowicie kształt uformowany z iluzorycznych konturów”, zauważa Mercier.
Integracja wielu zmysłów jest wszechobecnym zjawiskiem w mózgu
W ramach innego badania badacze projektu przedstawili zdrowym uczestnikom dynamiczną sekwencję sygnałów dźwiękowych i wizualnych. Celem tego było zbadanie, w jaki sposób wykonują oni złożone obliczenia i reagują na poszczególne połączenia informacji. Wykorzystując metody uczenia maszynowego do analizy aktywności elektrycznej mózgu, badacze stwierdzili, że integracja wielu zmysłów przyspieszyła dynamikę mózgu na etapie kodowania sensorycznego i na etapie, na którym uczestnicy podejmowali decyzję o swojej reakcji. Projekt MIMe wskazał, że integracja wielu zmysłów jest wszechobecnym zjawiskiem w ludzkim mózgu i realizuje różne procesy w hierarchii przetwarzania. „Dokładne zrozumienie dynamiki neuronalnej w ramach oddziaływania między poszczególnymi zmysłami w trakcie podejmowania decyzji rzuci nowe światło na trudności napotykane przez część populacji, na przykład przez osoby z cechami autystycznymi”, podsumowuje Mercier.
Słowa kluczowe
MIMe, mózg, zmysły, integracja wielu zmysłów, kodowanie sensoryczne, kształtowanie decyzji, fale mózgowe