Skip to main content
European Commission logo print header

Spatial 3D Semantic Understanding for Perception in the Wild

Projektbeschreibung

Die visuelle 3D-Wahrnehmung revolutionieren

Im digitalen Zeitalter ist es von zentraler Bedeutung, die räumliche 3D-Semantik unserer Welt nachzuvollziehen. Reale Umgebungen sind komplex und müssen in ihrem vollen dreidimensionalen Zusammenhang erfasst werden, selbst bei der Darstellung über 2D-Bilder. Verlässliche semantische 3D-Auswertungen aus visuellen Daten, wie RGB- oder RGB-D-Beobachtungen, sind jedoch noch wenig ausgeklügelt. Einschränkungen sind begrenzt verfügbare reale 3D-Daten und der komplizierte, hochdimensionale Charakter des Problems. Finanziert über den Europäischen Forschungsrat wird im Projekt SpatialSem die Macht der 3D-Wahrnehmung genutzt, um die Grundlage für bahnbrechende Fortschritte bei der maschinellen Wahrnehmung, immersiven Kommunikation, zu gemischter Realität sowie der Modellierung in Architektur und Industrie zu schaffen. Konkret soll im Projekt der Fokus von bildbasierter Verarbeitung auf eine räumlich beständige 3D-Repräsentation verschoben werden.

Ziel

Understanding the 3D spatial semantics of the world around us is core to visual perception and digitization -- real-world environments are spatially three-dimensional, and must be understood in its 3D context, even from 2D image observations. This will lead to spatially-grounded reasoning and higher-level perception of the world around us. Such 3D perception will provide the foundation for transformative, next-generation technology across machine perception, immersive communications, mixed reality, architectural or industrial modeling, and more. This will enable a new paradigm in semantic understanding that derives primarily from a spatially-consistent, 3D representation rather than relying on image-based reasoning that captures only projections of the world. However, 3D semantic reasoning from visual data such as RGB or RGB-D observations remains in its infancy, due to challenges in learning from limited amounts of real-world 3D data, and moreover, the complex, high-dimensional nature of the problem. In this proposal, we will develop new algorithmic approaches to effectively learn robust visual 3D perception, with new learning paradigms for features, representations, and operators, to encompass 3D semantic understanding.

Schlüsselbegriffe

Programm/Programme

æ

Koordinator

TECHNISCHE UNIVERSITAET MUENCHEN
Netto-EU-Beitrag
€ 1 500 000,00
Adresse
Arcisstrasse 21
80333 Muenchen
Deutschland

Auf der Karte ansehen

Region
Bayern Oberbayern München, Kreisfreie Stadt
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Weitere Finanzmittel
€ 0,00