Descrizione del progetto
3D basato sull’intelligenza artificiale con controllo basato sulla fisica
La creazione di contenuti 3D comporta processi complessi, che richiedono artisti specializzati per creare i modelli 3D e costosi algoritmi per il rendering delle immagini finali. Queste soluzioni sono utilizzate in settori come i gemelli digitali, l’architettura, la realtà virtuale, gli effetti speciali e molti altri. La creazione tradizionale di contenuti 3D utilizza il rendering basato sulla fisica, che simula il trasporto della luce secondo le leggi della fisica, garantendo risultati altamente accurati e realistici, ma tipicamente a un costo computazionale elevato. Il rendering neurale, invece, è una potente soluzione recente che utilizza l’apprendimento profondo per generare immagini basate su rappresentazioni apprese, ma manca di precisione e controllo fisico. Il progetto NERPHYS, finanziato dal CER, propone di introdurre nuove rappresentazioni e algoritmi di rendering neurale che consentano di creare in modo computazionalmente efficiente contenuti 3D arricchiti da un controllo basato sulla fisica.
Obiettivo
While long restricted to an elite of expert digital artists, 3D content creation has recently been greatly simplified by deep learning. Neural representations of 3D objects have revolutionized real-world capture from photos, while generative models are starting to enable 3D object synthesis from text prompts. These methods use differentiable neural rendering that allows efficient optimization of the powerful and expressive ``soft'' neural representations, but ignores physically-based principles, and thus has no guarantees on accuracy, severely limiting the utility of the resulting content.
Differentiable physically-based rendering on the other hand can produce 3D assets with physics-based parameters, but depends on rigid traditional ``hard'' graphics representations required for light-transport computation, that make optimization much harder and is also costly, limiting applicability.
In NERPHYS we will combine the strengths of both neural and physically-based rendering, lifting their respective limitations by introducing polymorphic 3D representations, i.e. capable of morphing between different states to accommodate both efficient gradient-based optimization and physically-based light transport. By augmenting these representations with corresponding polymorphic differentiable renderers, our methodology will unleash the potential of neural rendering to produce physically-based 3D assets with guarantees on accuracy.
NERPHYS will have ground-breaking impact on 3D content creation, moving beyond today's simplistic plausible imagery, to full physically-based rendering with guarantees on error, enabling the use of powerful neural rendering methods in any application requiring accuracy. Our polymorphic approach will fundamentally change how we reason about scene representations for geometry and appearance,
while our rendering algorithms will provide a new methodology for image synthesis, e.g. for training data generation or visual effects.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Parole chiave
Programma(i)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Argomento(i)
Meccanismo di finanziamento
HORIZON-ERC - HORIZON ERC GrantsIstituzione ospitante
78153 Le Chesnay Cedex
Francia