Descrizione del progetto
Automatizzare la sintesi interattiva di modelli 3D
La creazione di modelli 3D richiede un notevole sforzo manuale, anche per gli artisti più esperti in materia; tuttavia, vi è una pressante necessità di automatizzare la produzione di modelli 3D utilizzabili in ambienti e simulazioni tridimensionali interattivi. L’automazione della sintesi di modelli 3D interattivi è fondamentale per diverse applicazioni, come gli ambienti di realtà virtuale e mista, le pipeline di animazione, l’addestramento dei robot per l’interazione con gli oggetti, la stampa 3D di oggetti funzionali e l’intrattenimento digitale. In questo contesto, il progetto NEURi3D, finanziato dal CER, si prefigge di automatizzare la creazione di modelli 3D interattivi di oggetti e personaggi sviluppando architetture profonde per la creazione di modelli interattivi, metodi di apprendimento per sostituire gli oggetti del mondo reale con rappresentazioni digitali e modelli generativi volti a sintetizzare automaticamente oggetti e personaggi 3D interattivi.
Obiettivo
"Visualizing our surroundings and imagination has been an integral part of human history. In today's era, we have the privilege to immerse in 3D digital environments and interact with virtual objects and characters. However, creating digital representations of environments (i.e. 3D models) often requires excessive amount of manual effort and time even for trained 3D artists. Over the recent years, there have been remarkable advances in deep learning methods that attempt to reconstruct 3D models from real-world data captured in images or scans. However, we are still far from automatically producing 3D models usable in interactive 3D environments and simulations i.e. the resulting reconstructed 3D models lack controllers and metadata related to their articulation structure, possible motions, and interaction with other objects or agents. Automating the synthesis of interactive 3D models is crucial for several applications, such as (a) virtual and mixed reality environments where objects and characters are not static, but instead move and interact with each other, (b) automating animation pipelines, (c) training robots for object interaction in simulated environments, (d) 3D printing of functional objects, (e) digital entertainment. In this project, we will answer the question: ""how can we automate the generation of interactive 3D models of objects and characters?"". Our project will include the following thrusts:
(1) We will design deep architectures that automatically infer motion controllers and interaction-related metadata for input 3D models, effectively making them interactive.
(2) We will develop learning methods that replace dynamic real-world objects and characters captured in scans and video with high-quality, interactive, and animated 3D models as digital representatives.
(3) We will develop generative models that synthesize interactive 3D objects and characters automatically, and further help reconstructing them from scans and video more faithfully."
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Parole chiave
Programma(i)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Argomento(i)
Meccanismo di finanziamento
HORIZON-ERC - HORIZON ERC GrantsIstituzione ospitante
731 00 Chania
Grecia