L'analyse machine du comportement expressif humain
Un problème majeur de l'analyse du comportement humain naturel par les machines est que le visage humain, le corps et les expressions présentent des comportements dynamiques complexes et riches qui sont non-linéaires, variables dans le temps et dépendants du contexte. Soutenu financièrement par l'UE, le projet MAHNOB (Multimodal analysis of human nonverbal behaviour in real-world settings) a entrepris de répondre aux défis que cela représente et de construire des outils automatisés pour une compréhension machine du comportement humain interactif dans des contextes naturels. Les chercheurs de l'équipe possèdent une expérience en traitement du signal et en apprentissage machine et sont à la pointe de la recherche sur l'analyse du comportement corporel et multimodal naturel. Ils ont proposé de nombreuses premières concernant les approches permettant de distinguer divers comportements spontanés. Un exemple est la distinction automatique entre les épisodes d'accord et de désaccord sur la base d'indices comportementaux non-verbaux. Les chercheurs ont également proposé de nouvelles méthodologies véritablement innovatrices en vision par ordinateur et apprentissage machine, notamment un apprentissage des sous-espaces basé sur les orientations de gradients d'image. Par ailleurs, ils ont approfondi les champs aléatoires ordinaux conditionnels masqués pour permettre une reconnaissance simultanée des expressions faciales et de leur intensité, ainsi que pour prendre en compte les différences d'affichages subjectifs faciaux. Le travail mené dans le cadre du projet a fait progresser l'état des connaissances dans plusieurs directions dans le domaine de l'analyse automatique du comportement facial. Cela concerne notamment la précision et la robustesse de la détection et du suivi des visages et des caractéristiques faciales, l'efficacité et la précision de la reconnaissance automatique des actions des muscles faciaux, et l'étendue et la précision de la reconnaissance automatique des phases temporelles et de l'intensité des actions des muscles faciaux. Quatre bases de données d'enregistrements multimodaux de comportement humain spontané, considérées comme les premières du genre, ont été mises en ligne. Elles ont été créées alors que les sujets étaient impliqués dans des interactions dyadiques ou en train de regarder des contenus multimédias. Le projet MAHNOB a fait progresser les méthodes spatiotemporelles audiovisuelles pour l'analyse automatique des schémas humains spontanés des indices de comportement. Le travail a des implications importantes, étant donné que l'analyse machine des dynamiques comportementales est essentielle pour analyser et interpréter correctement les comportements complexes, notamment les émotions, la douleur et la dépression.
Mots‑clés
Comportement expressif, comportement humain, MAHNOB, comportement non-verbal, apprentissage machine, analyse du comportement
