Harmonising Observations and Underlying Principles for Visual Data Association

Description du projet

Principes d’optimisation pour l’association des données visuelles

Les applications liées à l’association de données visuelles comprennent la mise en correspondance de modèles physiques avec des scénarios complexes dans le cadre de la conduite autonome, ou encore la mise en correspondance de collections de formes 3D pour l’analyse médicale. Cependant, les méthodes actuelles d’association de données visuelles sont mal équipées pour faire face aux récentes avancées en matière d’apprentissage profond. Par conséquent, elles ne peuvent pas garantir l’optimalité globale, la modularité ou la cohérence géométrique dans les applications critiques, car elles ne sont pas en mesure d’interpréter les interconnexions complexes entre différentes entités observables. Pour remédier à cela, le projet Harmony, financé par l’UE, propose d’harmoniser conceptuellement et algorithmiquement les interconnexions complexes entre les entités observables et les principes fondamentaux sous-jacents tels que la géométrie et la physique. Les résultats profiteront aux chercheurs et aux praticiens, en leur fournissant des solutions optimisées pour des tâches complexes dans des applications pertinentes.

Objectif

Visual data association aims to find task-specific mappings involving visual data. Two significant examples are the mapping of physics models to complex scenes for planning overtaking manoeuvrers in autonomous driving, or matching collections of 3D shapes for medical analysis. Despite the high relevance of visual data association, its progress has not kept pace with the revolutionary developments fuelled by recent deep learning advances: existing data association machinery lacks theoretical guarantees (e.g. global optimality, or structure such as geometric consistency in 3D shape matching) that are critical for high-stakes settings, or suffers from poor scalability. Moreover, current procedures fall short of understanding complex interconnections across different observable entities (collections of e.g. objects or scenes). The vision of Harmony is to tackle these shortcomings by harmonising the complex interconnections between observable entities and underlying fundamental principles (e.g. geometry, or physics). This research direction is challenging, largely unexplored and will require to break substantially new ground at conceptual, algorithmic and practical levels simultaneously. Harmony is organised into four complementary challenges:
Challenge A addresses global optimality and scalability for 3D shape matching;
Challenge B addresses structure and dynamics inference from static images;
Challenge C addresses non-linear synchronisation in data collections defined over graphs;
Challenge D will exploit synergies and cross-fertilise insights across Harmony.
Overall, Harmony will benefit both researchers and practitioners by providing solutions to more complex tasks in practically relevant settings (e.g. geometrically consistent medical shape analysis, or physics-based scene understanding).