Description du projet
Apprendre à l’IA à voir et à comprendre notre monde comme les humains
L’IA a fait des bonds en avant en matière de langage et de vision. Cependant, les systèmes actuels ne peuvent toujours pas appréhender le monde avec précision. En particulier, ils établissent des corrélations entre les mots et les images, mais sont incapables de raisonner avec précision sur l’espace, le temps et la signification de concert. Il est essentiel de parvenir à cette unification pour réaliser des avancées dans les domaines de la robotique, de la conduite autonome et des assistants intelligents. Dans ce contexte, le projet 4DLang, financé par le CER, vise à construire une abstraction symbolique et géométrique des scènes physiques et à la convertir en un langage spatio-temporel. L’IA pourra ainsi traiter les informations spatiales et sémantiques à l’unisson, ce qui permettra un raisonnement plus approfondi et une compréhension semblable à celle de l’homme dans les domaines du monde réel.
Objectif
We have recently experienced a boost in AI as the performance of ChatGPT-like large language models has matured from a purely scientific endeavor to deployment in various businesses and real-world applications. Also in computer vision, we have seen tremendous gains that were enabled by scaling to large models trained on vast corpuses of data in an unsupervised fashion.
Language is symbolic and can inform about abstract properties and relationships, while vision without human labels does not model explicit semantics and brings distributed representations for spatial structures. Both are complementary, and the fundamental unsolved challenge is to bring them together. The current state of the art is to follow the common paradigm of scale and to naively train models on large amounts of data to exploit the co-occurence of objects in single images and words in text captions to learn their correlation. However, looking at the outputs of these models reveals that they in fact perform extremely poorly in many cases.
The next step to approach human-level AI requires reasoning about scenes spatially and semantically at the same time and demands an abstraction of our real world that brings both of these modalities together, while being lightweight and highly efficient. 4DLang presents the solution and introduces a new approach by first creating a primitive-based geometric symbolic abstraction of physical scenes that is then shaped into a spatio-temporal language. It will enable the fine-grained coupling of both modalities and go beyond the state of the art by augmenting large language models with real-world understanding that is only present in observations of moving scenes, as we humans perceive them. This design will fundamentally advance the generalization abilities of AI and have a large impact on downstream applications, such as content interpretation and generation, AI assistants, robotics, and autonomous driving.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
- ingénierie et technologie génie électrique, génie électronique, génie de l’information ingénierie électronique robotique
Vous devez vous identifier ou vous inscrire pour utiliser cette fonction
Mots‑clés
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMME PRINCIPAL
Voir tous les projets financés dans le cadre de ce programme
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
HORIZON-ERC - HORIZON ERC Grants
Voir tous les projets financés dans le cadre de ce programme de financement
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
(s’ouvre dans une nouvelle fenêtre) ERC-2025-STG
Voir tous les projets financés au titre de cet appelInstitution d’accueil
La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.
90461 NUREMBERG
Allemagne
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.