Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Understanding human action from unstructured 3D point clouds using deep learning methods

Descripción del proyecto

Máquinas colaborativas que reconocen acciones humanas

Las actuales máquinas automatizadas deberían estar dotadas de la capacidad de reconocimiento humano, especialmente en el caso de las interacciones humano-robot. Los métodos basados en aprendizaje profundo y vídeos que se emplean hoy en día no son suficientemente precisos. Sin embargo, pueden aprovechar el uso de las nubes en 3D. Por este motivo, el proyecto financiado con fondos europeos 3DInAction desarrollará una nueva metodología y diseñará un tipo de algoritmos basados en las propiedades globales y locales de las nubes de puntos en 3D. Se utilizará una red neuronal convolucional en 3D para crear una representación multimodal de acciones humanas para el reconocimiento de acciones humanas en 3D y la capacidad de aprender del mundo real.

Objetivo

Human action recognition and forecasting is an integral part of autonomous robotic systems that require human-robot interaction as well as other engineering problems. Action recognition is typically achieved using video data and deep learning methods. However, other tasks, e.g. classification, showed that it is often beneficial to additionally use 3D data. Namely, 3D point clouds that are sampled on the surfaces of objects and agents in the scene. Unfortunately, existing human action recognition methods are somewhat limited, motivating the following research. In this action, we describe a new class of algorithms for 3D human action recognition and forecasting using a deep learning-based approach. Our approach is novel in that it extends a recent body of work on action recognition from 2D to the 3D domain which is particularly challenging due to the unstructured, unordered and permutation invariant nature of 3D point clouds. Our algorithms use the global and local statistical properties of 3D point clouds along with a 3D convolutional neural network to devise novel multi-modal representation of human action. It is inherently robust to spatial changes in the 3D domain, unlike previous works which rely on the 2D projections. In practice, deep learning methods allow us to learn an inference model from real-world examples. A common methodology for action recognition includes creating an annotated dataset, training an inference model and testing its generalization. Our research objectives cover all of these tasks and suggest novel methods to tackle them. Overall, the proposed research offers a new point of view for these long-standing problems, and with the vast related work in other domains, it may bridge the gap to arrive at a generalizable, effective and efficient 3D human action recognition and forecasting machinery. The resulting algorithms may be used in several scientific and engineering domains such as human-robot interaction among other applications.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) H2020-MSCA-IF-2019

Ver todos los proyectos financiados en el marco de esta convocatoria

Coordinador

TECHNION RESEARCH AND DEVELOPMENT FOUNDATION LTD
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 276 205,44
Dirección
THE SENATE BUILDING TECHNION CITY 1
32000 Haifa
Israel

Ver en el mapa

Tipo de actividad
Private for-profit entities (excluding Higher or Secondary Education Establishments)
Enlaces
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

€ 276 205,44

Socios (1)

Mi folleto 0 0