Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS

SIMULACRON: From Camera Observations to Physical Simulations of the 3D World

Description du projet

Vers un nouveau concept de compréhension des scènes dynamiques pour la vision par ordinateur

La vision par ordinateur se situe au carrefour entre l’informatique, les mathématiques, l’ingénierie et la physique. Axée sur la reconstitution de certains éléments de la complexité du système de vision humain, il s’agit de l’un des types d’intelligence artificielle les plus puissants. Le projet SIMULACRON, financé par l’UE, développera un concept plus approfondi de compréhension des scènes dynamiques pour la vision par ordinateur. Il se concentrera sur les déductions relatives à la physique sous-jacente (masses, élasticité, inertie et forces) et sur une simulation des actions observées directement à partir des vidéos. Plus précisément, le projet développera des algorithmes pour modéliser les formes déformables ainsi que des méthodes variationnelles pour déduire des simulations physiques à partir de vidéos. À terme, SIMULACRON permettra de passer de la reconstitution de la géométrie 3D à celle des simulations physiques.

Objectif

Despite their amazing success, we believe that computer vision algorithms have only scratched the surface in terms of understanding our world from images. While most research on 3D reconstruction has been concerned with recovering the surface geometry and reflectance, SIMULACRON is focused on inferring the underlying physics (masses, elasticity, momenta, forces, etc.) and a simulation of the observed action directly from videos.

This not only provides a more profound understanding of the observed phenomena, but it also allows us to interpolate and extrapolate complex actions far beyond the observation: The inferred physical simulation can be employed for space-time super-resolution and for predictions into the future.

SIMULACRON covers three lines of research:

A) We will develop algorithms for deformable shape modeling. We will explore suitable representations of 3D shape and its evolution that enable the efficient computation of shape deformation, correspondence, interpolation and extrapolation. These techniques will form the basis for inferring physical simulations in parts B and C.

B) We will develop variational methods for inferring physical simulations from videos. We will compute a reference shape and simulation parameters that generate the shape deformation that is most consistent with the observations.

C) We will develop learning-based approaches for inferring physical simulations from videos. We will pursue two alternative approaches: First, we will generate synthetic training data by simulating deformable shapes and the associated camera observations. Second, we will devise self-supervised techniques for learning from real data without requiring labeled training data.

By shifting from inference of 3D geometry to inference of physical simulations, SIMULACRON will give rise to a more profound notion of dynamic scene understanding in computer vision, robotics and beyond. We believe that we have the necessary competence to pursue this project.

Champ scientifique (EuroSciVoc)

CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.

Vous devez vous identifier ou vous inscrire pour utiliser cette fonction

Mots‑clés

Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).

Programme(s)

Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.

Thème(s)

Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.

Régime de financement

Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.

ERC-ADG - Advanced Grant

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.

(s’ouvre dans une nouvelle fenêtre) ERC-2019-ADG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

TECHNISCHE UNIVERSITAET MUENCHEN
Contribution nette de l'UE

La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.

€ 3 500 000,00
Adresse
Arcisstrasse 21
80333 Muenchen
Allemagne

Voir sur la carte

Région
Bayern Oberbayern München, Kreisfreie Stadt
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total

Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.

€ 3 500 000,00

Bénéficiaires (1)

Mon livret 0 0