Wspólnotowy Serwis Informacyjny Badan i Rozwoju - CORDIS

ERC

MAHNOB — Wynik w skrócie

Project ID: 203143
Źródło dofinansowania: FP7-IDEAS-ERC
Kraj: Zjednoczone Królestwo

Analiza maszynowa ludzkich zachowań ekspresyjnych

Zespół badaczy europejskich podjął próbę modelowania ludzkich zachowań ekspresyjnych poprzez wykrywanie drobnych zmian ekspresji przy zachowaniach spontanicznych. Dotychczasowe narzędzia do analizy zachowań ludzkich miały zwykle zastosowanie jedynie do serii specjalnie pokazywanych i przejaskrawionych ekspresji.
Analiza maszynowa ludzkich zachowań ekspresyjnych
Kluczowym problemem dla analizy maszynowej naturalnych zachowań ludzkich jest fakt, że bogaty zestaw wyrazów twarzy, ruchów ciała i wokalizacji jest u ludzi stosowany w złożony i dynamiczny sposób, a wynikowe zachowania są nieliniowe, zmienne w czasie i zależne od kontekstu. Za cel finansowanego przez UE projektu MAHNOB (Multimodal analysis of human nonverbal behaviour in real-world settings) przyjęto rozwiązanie tych problemów i stworzenie zautomatyzowanych narzędzi pozwalających maszynom rozumieć interaktywne zachowania ludzi w naturalnych kontekstach.

W skład zespołu weszli badacze specjalizujący się w przetwarzaniu sygnału i uczeniu maszynowym, reprezentujący awangardę badań nad analizą ruchów ciała i wielomodalną analizą zachowań naturalnych. Zaproponowano szereg nowych podejść do rozróżniania poszczególnych zachowań spontanicznych. Przykładem może tu być automatyczne rozróżnianie zgody i niezgody na podstawie niewerbalnych wskazówek behawioralnych.

Badacze zaproponowali też nowatorskie, niekonwencjonalne metodologie wizji komputerowej i uczenia maszynowego, w tym uczenie podprzestrzeni oparte na orientacji gradientu obrazu. Rozszerzono też ukryte, warunkowe, porządkowe pola losowe, aby umożliwić jednoczesne rozpoznawanie wyrazu twarzy i jego intensywności oraz uwzględnianie różnic w subiektywnych wyrazach twarzy.

Projekt wytyczyły kilka nowych kierunków w badaniach nad automatyczną analizą zachowań twarzy. Należy tu wymienić dokładność i niezawodność wykrywania i śledzenia twarzy i rysów twarzy, wydajność i dokładność automatycznego rozpoznawania ruchów mięśni twarzy oraz zakres i dokładność automatycznego rozpoznawania faz czasowych i natężenia ruchów mięśni twarzy.

Opublikowano cztery bazy danych zawierające wielomodalne nagrania spontanicznych zachowań ludzkich — prawdopodobnie pierwszy tego rodzaju zasób. Nagrania zarejestrowano podczas interakcji w parach lub oglądania materiałów multimedialnych.

Prace projektu MAHNOB przyczyniły się do rozwoju audiowizualnych metod czasowo-przestrzennych do automatycznego analizowania wskazówek behawioralnych w spontanicznych zachowaniach ludzkich. Wyniki mają istotne implikacje, ponieważ analiza maszynowa dynamiki behawioralnej ma kluczowe znaczenie dla analizowania i prawidłowego interpretowania złożonych zachowań, w tym emocji, bólu i depresji.

Powiązane informacje

Słowa kluczowe

Zachowania ekspresyjne, zachowania ludzkie, MAHNOB, zachowania niewerbalne, uczenie maszynowe, analiza behawioralna
Śledź nas na: RSS Facebook Twitter YouTube Zarządzany przez Urząd Publikacji UE W górę