Droga do lepszych interakcji między człowiekiem a maszyną
Obserwując swoje wzajemne zachowania, ludzie symulują w głowie prawdopodobne wyniki sekwencji działań, co umożliwia nam długoterminowe planowanie. Gdyby komputery mogły „odczytać” taką sekwencję planowania z aktywności mózgu, wiedza o tym, co człowiek planuje robić dalej, pozwoliłaby komputerom prowadzenie planowania z wyprzedzeniem. W efekcie oddziaływanie z człowiekiem byłoby mniej refleksyjne i bardziej naturalne. „To jak sport zespołowy, w którym gracze współdziałają ze sobą intuicyjnie, reagując na subtelne wskazówki kolegów i odpowiednio planując własne działania”, mówi Florentin Wörgötter z Uniwersytetu w Getyndze, który pełni funkcję gospodarza projektu. „Wiedzieliśmy, że z sygnałów generowanych przez mózg można odczytać intencje dotyczące planów, dlatego chcieliśmy połączyć urządzenia z tymi sygnałami”. W ramach wspieranego przez UE projektu projektu Plan4Act udało się opracować zintegrowany system, który umożliwia dekodowanie sygnałów neuronowych. Umożliwi on sterowanie generowaniem sygnału na potrzeby działania inteligentnych urządzeń. Kluczem do sukcesu okazało się opracowanie klasy dekoderów opartych na sieci neuronowej umożliwiających odczytywanie predykcyjnych sygnałów neuronowych. Dekodery te osadzono w bezpośrednio programowalnej macierzy bramek (ang. field-programmable gate array, FPGA) – brzegowym urządzeniu obliczeniowym. Ponadto zespół opracował metodę ułatwiającą programowanie układów FPGA, umożliwiającą bieżące wdrażanie wariantów dekodera.
Wykorzystanie sygnałów mózgowych za pomocą sztucznej sieci neuronowej
Zespół rozpoczął od zestawienia informacji o kodowaniu predykcyjnym w różnych obszarach mózgu małp. Ponieważ sygnały w mózgu składają się z sekwencji impulsów elektrycznych, musiały zostać zdekodowane, aby zyskać ich kompatybilność z rodzajem sygnałów (takich jak napięcie) wejściowych urządzenia docelowego. Badacze założyli, że skoro mózg małpy działa analogicznie do ludzkiego, odkrycia da się przenieść na sekwencje impulsów nerwowych, które kodują postrzeganie świata zewnętrznego przez ludzi. Badania rozpoczęto od zarejestrowania predykcyjnych sygnałów mózgowych. Następnie przeprowadzono ich dekodowanie, co umożliwiło urządzeniu sterującemu przewidywanie – a tym samym generowanie – wymaganych odpowiedzi przed otrzymaniem monitu, co zwykle ma miejsce w przypadku konwencjonalnych systemów działających „w czasie”. Wprawdzie, jak stwierdza Wörgötter, sam proces bazowy jest stosunkowo prosty, zespół uznał, że złożoność budowy systemu, który integruje różne komponenty, stanowi pewnego rodzaju wyzwanie. Jednocześnie wiele wysiłku włożono we wskazanie skutecznej metody dekodowania sygnałów neuronowych. „Do dekodowania wystarczył prosty perceptron z bardzo małą liczbą warstw. Ta sieć neuronowa była w stanie przełożyć sygnały mózgowe na sygnały sterujące dla urządzeń o wysokim stopniu niezawodności. Większy stopień komplikacji sieci nie dawał lepszych wyników”, zauważa Wörgötter. Zespół przetestował pełną instalację, wykorzystując sygnały generowane w mózgach małp z Niemieckiego Centrum Naczelnych do obsługi dozownika żywności w inteligentnym domu w Madrycie. To inteligentne urządzenie było kontrolowane przez sekwencję maksymalnie trzech czynności fizycznych. „Dzięki dekodowaniu predykcyjnej aktywności mózgu małpy urządzenie mogło »przewidzieć« końcowe etapy działań małpy, jednocześnie reagując na pierwszy etap małpiego planu”, wyjaśnia Wörgötter.
W kierunku minimalnie inwazyjnej technologii
Umiejętność predykcyjnego sterowania pracą urządzeń przy niewielkim wysiłku fizycznym lub bez niego może okazać się odkryciem na miarę zmiany jakości życia w przypadku osób niepełnosprawnych. Do tego jednak ciągle daleko, ponieważ obecna technologia opiera się na procedurach inwazyjnych, takich jak chirurgiczne wszczepianie elektrod. „Oczywiście ludzie mają z tym problemy etyczne, więc najpierw będziemy musieli opracować nowe, minimalnie inwazyjne elektrody. Może minąć 10, może nawet 20 lat, zanim rozwiązanie to trafi do użytku klinicznego lub domowego”, mówi Wörgötter. Obecnie zespół pracuje nad wyższym stopniem integracji różnych komponentów systemu, jednocześnie dostosowując proaktywne monity odpowiedzi maszyny, takie jak przewidywane wzorce ruchu.
Słowa kluczowe
Plan4Act, małpa, mózg, sygnały neuronowe, robot, maszyna, elektroda, człowiek, sieć neuronowa, perceptron
