Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Federated foundational models for embodied perception

Description du projet

Apprendre aux machines à voir en trois dimensions

La vision par ordinateur est un sous-domaine de l’IA qui permet aux machines de «voir» en interprétant et en comprenant les informations visuelles. Cependant, si les modèles à grande échelle sont capables de reconnaître des objets dans des images en 2D, ils restent «aveugles» au monde tridimensionnel. Le projet FRONTIER, financé par le CER, vise à changer cette situation en créant des modèles fondamentaux capables de se déplacer, d’interagir et d’apprendre dans des environnements réels. En intégrant des réseaux neuronaux à des simulations physiques différentiables, en développant des algorithmes qui respectent les contraintes géométriques et physiques, et en permettant un apprentissage fédéré sur plusieurs systèmes, FRONTIER vise à développer une intelligence plus flexible et plus proche de celle de l’être humain. L’objectif global est d’ouvrir la voie à des voitures plus sûres et auto-apprenantes, à des chaînes de production adaptatives et à des robots d’assistance qui acquièrent des compétences en collaboration avec Internet et entre eux.

Objectif

Computer vision is beginning to see a paradigm shift with large-scale foundational models that demonstrate impressive results on a wide range of recognition tasks. While achieving impressive results, these models learn only static 2D image representations based on observed correlations between still images and natural language. However, our world is three-dimensional, full of dynamic events and causal interactions. We argue that the next scientific challenge is to invent foundational models for embodied perception – that is perception for systems that have a physical body, operate in a dynamic 3D world and interact with the surrounding environment.

The FRONTIER proposal addresses this challenge by means of:
1. developing a new class of foundational model architectures grounded in the geometrical and physical structure of the world that seamlessly combine large-scale neural networks with learnable differentiable physical simulation components to achieve generalization across tasks, situations and environments;
2. designing new learning algorithms that incorporate the physical and geometric structure as constraints on the learning process to achieve new levels of data efficiency with the aim of bringing intelligent systems closer to humans who can often learn from only a few available examples;
3. developing new federated learning methods that will allow sharing and accumulating learning experiences across different embodied systems thereby achieving new levels of scale, accuracy, and robustness not achievable by learning in any individual system alone.

Breakthrough progress on these problems would have profound implications on our everyday lives as well as science and commerce with safer cars that learn from each other, intelligent production lines that collaboratively adapt to new workflows or a new generation of smart assistive robots that automatically learn new skills from the Internet and each other enabled by the advances from this project.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2022-ADG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Contribution nette de l'UE
€ 2 499 825,00
Adresse
JUGOSLAVSKYCH PARTYZANU 1580/3
160 00 PRAHA
Tchéquie
Région
Česko Praha Hlavní město Praha
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 2 499 825,00

Bénéficiaires (1)