Descrizione del progetto
Rivoluzionare il regno della percezione visiva 3D
Nell’odierna era digitale, la comprensione della semantica spaziale 3D del nostro mondo è una sfida fondamentale. Gli ambienti del mondo reale, ricchi di complessità, richiedono di essere compresi nel loro vero contesto tridimensionale, anche se osservati attraverso immagini 2D. Tuttavia, il raggiungimento di un robusto ragionamento semantico 3D da dati visivi, come le osservazioni RGB o RGB-D, è ancora agli inizi, ostacolato dalla limitatezza dei dati 3D del mondo reale e dalla natura intricata e altamente dimensionale del problema. In quest’ottica, il progetto SpatialSem, finanziato dal CER, mira a sfruttare la potenza della percezione 3D e a gettare le basi per progressi rivoluzionari nella percezione automatica, nella comunicazione immersiva, nella realtà mista e nella modellizzazione architettonica e industriale. In particolare, il progetto mira a spostare l’attenzione dal ragionamento basato sulle immagini a una rappresentazione 3D spazialmente coerente.
Obiettivo
Understanding the 3D spatial semantics of the world around us is core to visual perception and digitization -- real-world environments are spatially three-dimensional, and must be understood in its 3D context, even from 2D image observations. This will lead to spatially-grounded reasoning and higher-level perception of the world around us. Such 3D perception will provide the foundation for transformative, next-generation technology across machine perception, immersive communications, mixed reality, architectural or industrial modeling, and more. This will enable a new paradigm in semantic understanding that derives primarily from a spatially-consistent, 3D representation rather than relying on image-based reasoning that captures only projections of the world. However, 3D semantic reasoning from visual data such as RGB or RGB-D observations remains in its infancy, due to challenges in learning from limited amounts of real-world 3D data, and moreover, the complex, high-dimensional nature of the problem. In this proposal, we will develop new algorithmic approaches to effectively learn robust visual 3D perception, with new learning paradigms for features, representations, and operators, to encompass 3D semantic understanding.
Campo scientifico
Parole chiave
Programma(i)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Argomento(i)
Meccanismo di finanziamento
HORIZON-ERC - HORIZON ERC GrantsIstituzione ospitante
80333 Muenchen
Germania