Descripción del proyecto
La revolución de la percepción visual tridimensional
En la era digital actual, comprender la semántica espacial tridimensional de nuestro mundo es un reto primordial. Los entornos del mundo real, ricos en complejidad, exigen comprensión en su verdadero contexto tridimensional, incluso cuando se observan a través de imágenes bidimensionales. Sin embargo, lograr un razonamiento semántico tridimensional sólido a partir de datos visuales, como las observaciones RGB o RGB-D, sigue estando en etapas de desarrollo, dificultado por los limitados datos tridimensionales del mundo real y la naturaleza enrevesada y altamente dimensional del problema. En este sentido, el equipo del proyecto SpatialSem, financiado por el Consejo Europeo de Investigación, pretende aprovechar el poder de la percepción tridimensional y sentar las bases de avances revolucionarios en percepción artificial, comunicación inmersiva, realidad mixta y modelado arquitectónico e industrial. En concreto, el equipo del proyecto pretende desplazar la atención del razonamiento basado en imágenes a una representación tridimensional espacialmente coherente.
Objetivo
Understanding the 3D spatial semantics of the world around us is core to visual perception and digitization -- real-world environments are spatially three-dimensional, and must be understood in its 3D context, even from 2D image observations. This will lead to spatially-grounded reasoning and higher-level perception of the world around us. Such 3D perception will provide the foundation for transformative, next-generation technology across machine perception, immersive communications, mixed reality, architectural or industrial modeling, and more. This will enable a new paradigm in semantic understanding that derives primarily from a spatially-consistent, 3D representation rather than relying on image-based reasoning that captures only projections of the world. However, 3D semantic reasoning from visual data such as RGB or RGB-D observations remains in its infancy, due to challenges in learning from limited amounts of real-world 3D data, and moreover, the complex, high-dimensional nature of the problem. In this proposal, we will develop new algorithmic approaches to effectively learn robust visual 3D perception, with new learning paradigms for features, representations, and operators, to encompass 3D semantic understanding.
Ámbito científico
Palabras clave
Programa(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Régimen de financiación
HORIZON-ERC - HORIZON ERC GrantsInstitución de acogida
80333 Muenchen
Alemania