Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS

Rendering 3D images with attributes learned from 2D images via Deep Learning

Description du projet

Tracer les contours d’une nouvelle ère en infographie

La technologie bouleverse à jamais l’enseignement en classe et l’apprentissage en général. Qu’il s’agisse de cours en ligne, de visites virtuelles de musées ou d’expériences améliorées de jeux, les progrès technologiques ouvrent de nouvelles frontières. Dans ce contexte, le projet 3DIS-NN, financé par l’UE, introduit sur le marché une technologie de synthèse d’images 3D (3DIS) destinée à restituer des objets à partir de différentes vues, qui aura de nombreuses applications en infographie et en vision par ordinateur. En démêlant les attributs des objets et en les entremêlant via un moteur de rendu pour la phase de synthèse, la 3DIS peut fournir une technologie permettant d’apprendre des caractéristiques utiles de notre monde visuel susceptibles de servir à la compréhension vidéo, l’un des plus grands objectifs de l’intelligence artificielle.

Objectif

3D (3-dimensional) Image Synthesis (3DIS) is a technology to render objects from different views which enables numerous applications in computer graphics and computer vision. As the digital world is becoming more crucial especially in the times of pandemic, 3DIS can provide tools for online classes, virtual social tours, improved gaming experience and simulators for robotics by providing realistic virtual 3D environments. Furthermore, 3DIS by disentangling the attributes of objects and entangling them via a renderer for synthesize, can provide a technology to learn useful features from our visual world that can be used for video understanding, one of the biggest goals of artificial intelligence. Here, I propose 3DIS-NN, a set of methods to improve the quality of 3DIS with deep neural networks (DNNs), and bring it close to the production quality, which will contribute to the European Union’s Future and Emerging Technology ambitions of Horizon Europe. Learning 3DIS from 2D images with deep learning is a challenging topic due to its inherent ambiguity. 3DIS-NN will enable high-quality 3DIS results by i) creating a dataset with weak labels to feed the data-hungry DNNs for better accuracy, ii) improving robustness of 3D geometry and texture prediction from images, iii) handling the impurities in segmentation of objects with a novel design of architecture, and iv) providing a tool to further close the domain gap in renderers and real images. This interdisciplinary proposal which is at the intersection of deep learning and computer graphics will be carried out at under the supervision of Prof. Ugur Gudukbay who is an expert in computer graphics. In terms of career developments, this proposal will consolidate and accelerate my career on the international landscape scene as a pioneer lead authority in the new cross-disciplinary area of “deep learning & computer graphics”.

Champ scientifique (EuroSciVoc)

CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.

Vous devez vous identifier ou vous inscrire pour utiliser cette fonction

Régime de financement

MSCA-IF -

Coordinateur

BILKENT UNIVERSITESI VAKIF
Contribution nette de l'UE
€ 145 355,52
Adresse
ESKISEHIR YOLU 8 KM
06800 Bilkent Ankara
Turquie

Voir sur la carte

Région
Batı Anadolu Ankara Ankara
Type d’activité
Établissements d’enseignement supérieur ou secondaire
Liens
Coût total
€ 145 355,52
Mon livret 0 0