Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS

Learning Pixel-Perfect 3D Vision and Generative Modeling

Description du projet

Apprendre aux machines à comprendre ce qu’elles voient

La génération d’images à l’aide d’ordinateurs a énormément progressé. La technologie et les algorithmes actuels permettent de simuler le monde qui nous entoure. Par ailleurs, grâce à la technique de vision par ordinateur, il est désormais possible de reconnaître et de prédire des identités et des actions à partir d’images ou de vidéos. Toutefois, cette technologie n’est pas encore en mesure de gérer correctement les formes en 3D, et sa sémantique ne correspond pas à une apparence parfaite au pixel près. Il en découle que la conception d’environnements en 3D, pour les jeux ou les films par exemple, reste laborieuse. Le projet PIPE, financé par l’UE, entend résoudre ces problèmes. Grâce à de nouveaux modèles qui combinent la vision et la simulation par ordinateur avec l’apprentissage machine, il s’efforcera d’obtenir une vision 3D parfaite au niveau du pixel et de développer la modélisation générative. En recourant à des réseaux neuronaux convolutifs pour l’apprentissage profonds, il permettra la création d’échantillons réalistes d’images synthétiques significatives.

Objectif

A fascinating tension exists between computer vision and computer graphics. Decades of research efforts have led to the ability of graphics algorithms to simulate the world to a degree often indistinguishable from reality -- given an accurate enough model of scene geometry and appearance. Similarly, decades of ingenuity have given computer vision techniques the already, at times, superhuman capability of detecting, recognizing, and predicting objects, actions, and identities from pictures or video.

Vision and graphics meet at a common point of pain: the model of scene geometry and appearance. To yield photorealistic results, graphics algorithms require an essentially perfect forward model. Yet, the capability of computer vision algorithms to robustly and accurately reason about the 3D shape and appearance of the world, unfortunately, greatly lags behind the capabilities to detect, recognize, segment, and so on. A great discrepancy exists between the semantic and the pixel-perfect, accurate shape and appearance. Bridging this chasm is the goal of this research.

This entails solving fundamental, long-standing, unsolved problems in computer vision through the aid of computer graphics and machine learning}. First, we seek to simultaneously capture accurate 3D shape and appearance of complex real-world scenes from photographic inputs; second, we seek to extend these capabilities still further to``zero-shot'' generative modelling. These extremely ambitious goals will be reached by marrying simulation (rendering) and machine learning, building on the PI's three existing strengths: (1) ability to capture photorealistic material appearance models using commodity devices; (2) his leading standing in physically-based image synthesis; and (3) his results on generative modeling of photorealistic images through deep convolutional neural networks.

Champ scientifique (EuroSciVoc)

CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.

Vous devez vous identifier ou vous inscrire pour utiliser cette fonction

Programme(s)

Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.

Thème(s)

Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.

Régime de financement

Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.

ERC-COG - Consolidator Grant

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.

(s’ouvre dans une nouvelle fenêtre) ERC-2019-COG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

AALTO KORKEAKOULUSAATIO SR
Contribution nette de l'UE

La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.

€ 1 858 013,00
Adresse
OTAKAARI 1
02150 Espoo
Finlande

Voir sur la carte

Région
Manner-Suomi Helsinki-Uusimaa Helsinki-Uusimaa
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total

Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.

€ 1 858 013,00

Bénéficiaires (1)

Mon livret 0 0