Descrizione del progetto
Contenuti 3D creati automaticamente per varie applicazioni
I recenti progressi compiuti nei metodi di generazione delle immagini, come le reti generative avversarie e i modelli di diffusione, hanno migliorato notevolmente il realismo; ciononostante, la modellizzazione 3D per la grafica computerizzata e le esperienze immersive è rimasta indietro. Il progetto Gen3D, finanziato dal CER, si prefigge di colmare questo divario generando automaticamente contenuti 3D per i mondi virtuali, il che consentirà di realizzare un rendering flessibile da diversi punti di vista e di mantenere la fedeltà visiva del mondo reale. Il progetto supporterà diverse applicazioni, tra cui videogiochi, film, realtà aumentata (RA), realtà virtuale (RV), progettazione assistita da calcolatore (CAD), visualizzazione architettonica e imaging medico concentrandosi sullo sviluppo di modelli generativi 3D in grado di produrre reti poligonali con strutture e proprietà dei materiali, migliorando al contempo il controllo e la modificabilità attraverso la generazione condizionale sia per gli utenti principianti che per quelli esperti.
Obiettivo
In recent years, we have seen a revolution of learning methods that generate highly-realistic images, such as generative adversarial neural networks, autoregressive methods, or diffusion models (e.g. DALL-E, Stable Diffusion, Runway, etc). Unfortunately, the vast majority of these methods are tailored towards the 2D image domain, while their respective 3D counterparts 3D models that fuel computer graphics applications, and enable visually immersive experiences remain in their infancy.
In this proposal, we tackle the challenge of automatic generation of 3D content for virtual worlds. Such 3D generated content enables versatility, with flexible rendering from arbitrary viewpoints that match the visual fidelity of the real world. We focus on 3D content creation for visually immersive experiences for a much wider audience in myriad applications, such as video games, movies, AR/VR scenarios, CAD modeling, architectural & industrial design, and medical applications. We believe that the key towards automated, high-fidelity content creation lies in developing new machine learning techniques to transform 3D content generation.
(A) We will develop 3D Generative Models that output 3D polygon meshes, along with their surface textures and material properties, highlighting generation of 3D content that can be directly consumed by modern graphics pipelines.
(B) To train our 3D generative models to reflect the complexity and diversity of real data, we will devise methods for Supervision from Images and Videos. The key challenge here is that such collections of images and videos are by nature incomplete projections of the underlying 3D world, thus requiring learning paradigms that generalize across partial instances.
(C) We will research techniques that provide Control and Editability through Conditional Generation. In particular, we will focus on conditional input from both novice (e.g. text-based editing) and expert (e.g. based on existing authoring tools) users alike.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
- scienze socialiscienze politichetransizioni politicherivoluzioni
- ingegneria e tecnologiaingegneria ambientaleenergia e carburanti
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Siamo spiacenti… si è verificato un errore inatteso durante l’esecuzione.
È necessario essere autenticati. La sessione potrebbe essere scaduta.
Grazie per il tuo feedback. Riceverai presto un'e-mail di conferma dell'invio. Se hai scelto di ricevere una notifica sullo stato della segnalazione, sarai contattato anche quando lo stato della segnalazione cambierà.
Programma(i)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Argomento(i)
Invito a presentare proposte
(si apre in una nuova finestra) ERC-2024-COG
Vedi altri progetti per questo bandoMeccanismo di finanziamento
HORIZON-ERC -Istituzione ospitante
80333 Muenchen
Germania