Opis projektu
Maszyny współpracujące z ludźmi rozpoznają ich działania
Współczesne autonomiczne maszyny powinny być wyposażone w technologie pozwalające im na rozpoznawanie ludzi, zwłaszcza w sytuacjach, w których ludzie muszą współpracować z robotami. Niestety, wykorzystywane obecnie metody oparte na rozpoznawaniu obrazów i uczeniu głębokim nie oferują dostatecznej precyzji. Możliwe jest jednak jej zwiększenie dzięki wykorzystaniu trójwymiarowych chmur. Uczestnicy finansowanego przez Unię Europejską projektu 3DInAction zamierzają opracować nową metodologię oraz stworzyć klasę algorytmów opartych na globalnych i lokalnych właściwościach statystycznych trójwymiarowych chmur punktów. Badacze zamierzają wykorzystać trójwymiarową konwolucyjną sieć neuronową do opracowania multimodalnej reprezentacji ludzkich działań w celu umożliwienia rozpoznawania działań ludzi w trzech wymiarach oraz uczenia się na podstawie sytuacji występujących w realnym świecie.
Cel
Human action recognition and forecasting is an integral part of autonomous robotic systems that require human-robot interaction as well as other engineering problems. Action recognition is typically achieved using video data and deep learning methods. However, other tasks, e.g. classification, showed that it is often beneficial to additionally use 3D data. Namely, 3D point clouds that are sampled on the surfaces of objects and agents in the scene. Unfortunately, existing human action recognition methods are somewhat limited, motivating the following research. In this action, we describe a new class of algorithms for 3D human action recognition and forecasting using a deep learning-based approach. Our approach is novel in that it extends a recent body of work on action recognition from 2D to the 3D domain which is particularly challenging due to the unstructured, unordered and permutation invariant nature of 3D point clouds. Our algorithms use the global and local statistical properties of 3D point clouds along with a 3D convolutional neural network to devise novel multi-modal representation of human action. It is inherently robust to spatial changes in the 3D domain, unlike previous works which rely on the 2D projections. In practice, deep learning methods allow us to learn an inference model from real-world examples. A common methodology for action recognition includes creating an annotated dataset, training an inference model and testing its generalization. Our research objectives cover all of these tasks and suggest novel methods to tackle them. Overall, the proposed research offers a new point of view for these long-standing problems, and with the vast related work in other domains, it may bridge the gap to arrive at a generalizable, effective and efficient 3D human action recognition and forecasting machinery. The resulting algorithms may be used in several scientific and engineering domains such as human-robot interaction among other applications.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego.
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Słowa kluczowe
Program(-y)
Temat(-y)
System finansowania
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)Koordynator
32000 Haifa
Izrael