Analiza maszynowa ludzkich zachowań ekspresyjnych
Kluczowym problemem dla analizy maszynowej naturalnych zachowań ludzkich jest fakt, że bogaty zestaw wyrazów twarzy, ruchów ciała i wokalizacji jest u ludzi stosowany w złożony i dynamiczny sposób, a wynikowe zachowania są nieliniowe, zmienne w czasie i zależne od kontekstu. Za cel finansowanego przez UE projektu MAHNOB (Multimodal analysis of human nonverbal behaviour in real-world settings) przyjęto rozwiązanie tych problemów i stworzenie zautomatyzowanych narzędzi pozwalających maszynom rozumieć interaktywne zachowania ludzi w naturalnych kontekstach. W skład zespołu weszli badacze specjalizujący się w przetwarzaniu sygnału i uczeniu maszynowym, reprezentujący awangardę badań nad analizą ruchów ciała i wielomodalną analizą zachowań naturalnych. Zaproponowano szereg nowych podejść do rozróżniania poszczególnych zachowań spontanicznych. Przykładem może tu być automatyczne rozróżnianie zgody i niezgody na podstawie niewerbalnych wskazówek behawioralnych. Badacze zaproponowali też nowatorskie, niekonwencjonalne metodologie wizji komputerowej i uczenia maszynowego, w tym uczenie podprzestrzeni oparte na orientacji gradientu obrazu. Rozszerzono też ukryte, warunkowe, porządkowe pola losowe, aby umożliwić jednoczesne rozpoznawanie wyrazu twarzy i jego intensywności oraz uwzględnianie różnic w subiektywnych wyrazach twarzy. Projekt wytyczyły kilka nowych kierunków w badaniach nad automatyczną analizą zachowań twarzy. Należy tu wymienić dokładność i niezawodność wykrywania i śledzenia twarzy i rysów twarzy, wydajność i dokładność automatycznego rozpoznawania ruchów mięśni twarzy oraz zakres i dokładność automatycznego rozpoznawania faz czasowych i natężenia ruchów mięśni twarzy. Opublikowano cztery bazy danych zawierające wielomodalne nagrania spontanicznych zachowań ludzkich — prawdopodobnie pierwszy tego rodzaju zasób. Nagrania zarejestrowano podczas interakcji w parach lub oglądania materiałów multimedialnych. Prace projektu MAHNOB przyczyniły się do rozwoju audiowizualnych metod czasowo-przestrzennych do automatycznego analizowania wskazówek behawioralnych w spontanicznych zachowaniach ludzkich. Wyniki mają istotne implikacje, ponieważ analiza maszynowa dynamiki behawioralnej ma kluczowe znaczenie dla analizowania i prawidłowego interpretowania złożonych zachowań, w tym emocji, bólu i depresji.
Słowa kluczowe
Zachowania ekspresyjne, zachowania ludzkie, MAHNOB, zachowania niewerbalne, uczenie maszynowe, analiza behawioralna