Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Learning to synthesize interactive 3D models

Description du projet

Automatiser la synthèse de modèles 3D interactifs

La création de modèles 3D requiert un effort manuel important, même pour des artistes 3D expérimentés. Il existe toutefois un besoin pressant d’automatiser la production de modèles 3D utilisables dans des environnements 3D interactifs et des simulations. L’automatisation de la synthèse de modèles 3D interactifs est cruciale pour diverses applications telles que les environnements de réalité virtuelle et mixte, l’automatisation de chaînes d’animation, l’entraînement des robots à interagir avec des objets, l’impression 3D d’objets fonctionnels et le divertissement numérique. Dans ce contexte, le projet NEURi3D, financé par le CER, propose d’automatiser la création de modèles 3D interactifs d’objets et de personnages. Ce projet développera des architectures profondes pour la création de modèles interactifs, de méthodes d’apprentissage destinées à remplacer les objets du monde réel par des représentations numériques, et de modèles génératifs pour synthétiser automatiquement des objets et des personnages interactifs en 3D.

Objectif

"Visualizing our surroundings and imagination has been an integral part of human history. In today's era, we have the privilege to immerse in 3D digital environments and interact with virtual objects and characters. However, creating digital representations of environments (i.e. 3D models) often requires excessive amount of manual effort and time even for trained 3D artists. Over the recent years, there have been remarkable advances in deep learning methods that attempt to reconstruct 3D models from real-world data captured in images or scans. However, we are still far from automatically producing 3D models usable in interactive 3D environments and simulations i.e. the resulting reconstructed 3D models lack controllers and metadata related to their articulation structure, possible motions, and interaction with other objects or agents. Automating the synthesis of interactive 3D models is crucial for several applications, such as (a) virtual and mixed reality environments where objects and characters are not static, but instead move and interact with each other, (b) automating animation pipelines, (c) training robots for object interaction in simulated environments, (d) 3D printing of functional objects, (e) digital entertainment. In this project, we will answer the question: ""how can we automate the generation of interactive 3D models of objects and characters?"". Our project will include the following thrusts:
(1) We will design deep architectures that automatically infer motion controllers and interaction-related metadata for input 3D models, effectively making them interactive.
(2) We will develop learning methods that replace dynamic real-world objects and characters captured in scans and video with high-quality, interactive, and animated 3D models as digital representatives.
(3) We will develop generative models that synthesize interactive 3D objects and characters automatically, and further help reconstructing them from scans and video more faithfully."

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2023-COG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

POLYTECHNEIO KRITIS
Contribution nette de l'UE
€ 2 000 000,00
Adresse
BUILDING E4, TECHNICAL UNIVERSITY CAMPUS COUNOUPIDIANA
731 00 CHANIA
Grèce
Région
Αττική Aττική Κεντρικός Τομέας Αθηνών
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 2 000 000,00

Bénéficiaires (1)