Skip to main content

Multimodal Activity Recognition for Interactive Environments

Article Category

Article available in the folowing languages:

Zgadnij, co widzę?

Zrozumienie, na co patrzą oczy i jaką czynność wykonują może okazać się pomocne w rozwoju technologii interfejsu człowiek-maszyna oraz opracowaniu wielu nowoczesnych aplikacji.

Gospodarka cyfrowa

Istnieje wiele nowych nowoczesnych systemów i usług polegających na rozpoznawaniu ludzkiej aktywności i zachowania. W związku z tym, że automatyzacja i sztuczna inteligencja w coraz większym stopniu polegają na interakcji człowiek-maszyna, ważne jest rozwijanie tej dyscypliny i dalsze rozszerzanie jej potencjału. Szczególnym zainteresowaniem cieszy się badanie ruchów oka (tj. określanie gdzie patrzymy, na co patrzymy lub w jaki sposób to robimy) oraz uczenie inteligentnych urządzeń reagowania w odpowiedni sposób. Projekt finansowany ze środków UE "Rozpoznawanie aktywności multimodalnej w środowiskach interaktywnych" (MARIE) skupił się na rozwinięciu technologii związanej z rozpoznawaniem aktywności ludzkiego oka. Z powodzeniem zastosowano wzory ruchu oka, by uchwycić aktywność oraz zamiary użytkownika oraz opracowano nową metodologię oceny wydajności rozpoznawania aktywności. Obejmowała ona sklasyfikowanie ruchów oka odpowiadających każdej czynności oraz mapowanie sekwencji tych ruchów. Partnerzy projektu MARIE opracowali i określili skuteczność algorytmów oceny różnych ruchów i sygnałów oka, łącznie ze skupianiem wzroku i mruganiem, w rozmaitych kontekstach i sytuacjach. Udało się dostrzec różnice w ruchach oka podczas kopiowania tekstu, czytania gazety, robienia notatek, oglądania filmów czy przeszukiwania Internetu. Zespołowi udało się również zaobserwować, co dzieje się z ludzkim okiem, kiedy uczestnik badania czyta, będąc w ruchu, na przykład idąc lub jadąc pojazdem. W ramach projektu opublikowano wyniki pracy zespołu, w tym bazę danych ruchów oka, która może zostać wykorzystana przez innych badaczy. Kilka innych zbiorów wyników opublikowano także we współpracy z kilkorgiem innych badaczy zaangażowanych w prace nad tym zagadnieniem. Rozpowszechnione za pośrednictwem różnych mediów wyniki zostały dobrze przyjęte w środowisku naukowym, potwierdzając sukces metody rozpoznawania aktywności na podstawie śledzenia oczu. Ponadto w ramach projektu MARIE zaprojektowano wszechstronny system oceny, łącznie z porównywaniem danych i rejestrowaniem błędów, ułatwiający uzyskiwanie dokładniejszych i bardziej przydatnych wyników w przyszłości. Dzięki temu udało się skorygować istotne mankamenty w sposobie dokonywania pomiarów i oceny postępów przez badaczy na tym polu. Współpracując z ponad 30 wiodącymi badaczami w tej dziedzinie, określono również przyszły kierunek badań. Konsekwencje opracowania tej technologii mają ogromne znaczenie dla wielu nowoczesnych dziedzin, w których możliwe będzie jej zastosowanie w rozwiązaniach z zakresu bezpieczeństwa, medycyny, transportu i wielu innych.

Znajdź inne artykuły w tej samej dziedzinie zastosowania