Skip to main content
European Commission logo print header

Spatial 3D Semantic Understanding for Perception in the Wild

Opis projektu

Rewolucja w dziedzinie przestrzennej percepcji wzrokowej

W dzisiejszej erze cyfrowej zrozumienie trójwymiarowej przestrzeni naszego świata pod względem semantycznym stanowi ogromne wyzwanie. Aby zrozumieć rzeczywiste środowiska, czyli systemy o niezwykle bogatej złożoności, należy je badać w ich prawdziwym trójwymiarowym kontekście, nawet w przypadku gdy są obserwowane za pośrednictwem dwuwymiarowych obrazów. Jednak próby osiągnięcia wiarygodnego wnioskowania semantycznego 3D na podstawie danych wizualnych, takich jak obrazy RGB lub RGB-D, nadal znajdują się w powijakach. Utrudnia je zbyt mała ilość rzeczywistych danych 3D i złożona, wielowymiarowa natura problemu. Mając to na uwadze, zespół finansowanego przez Europejską Radę ds. Badań Naukowych projektu SpatialSem zamierza wykorzystać możliwości percepcji trójwymiarowej i położyć fundamenty pod przełomowe osiągnięcia w dziedzinie percepcji maszynowej, komunikacji immersyjnej, rzeczywistości mieszanej, a także modelowaniu architektonicznym i przemysłowym. W szczególności zespół skupi się na przeniesieniu punktu ciężkości tych badań z rozumowania opartego na obrazie w kierunku spójnej przestrzennie trójwymiarowej reprezentacji.

Cel

Understanding the 3D spatial semantics of the world around us is core to visual perception and digitization -- real-world environments are spatially three-dimensional, and must be understood in its 3D context, even from 2D image observations. This will lead to spatially-grounded reasoning and higher-level perception of the world around us. Such 3D perception will provide the foundation for transformative, next-generation technology across machine perception, immersive communications, mixed reality, architectural or industrial modeling, and more. This will enable a new paradigm in semantic understanding that derives primarily from a spatially-consistent, 3D representation rather than relying on image-based reasoning that captures only projections of the world. However, 3D semantic reasoning from visual data such as RGB or RGB-D observations remains in its infancy, due to challenges in learning from limited amounts of real-world 3D data, and moreover, the complex, high-dimensional nature of the problem. In this proposal, we will develop new algorithmic approaches to effectively learn robust visual 3D perception, with new learning paradigms for features, representations, and operators, to encompass 3D semantic understanding.

Słowa kluczowe

æ

Koordynator

TECHNISCHE UNIVERSITAET MUENCHEN
Wkład UE netto
€ 1 500 000,00
Adres
Arcisstrasse 21
80333 Muenchen
Niemcy

Zobacz na mapie

Region
Bayern Oberbayern München, Kreisfreie Stadt
Rodzaj działalności
Higher or Secondary Education Establishments
Linki
Środki z innych źródeł
€ 0,00