Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

Learning to synthesize interactive 3D models

Projektbeschreibung

Interaktive 3D-Modell-Synthese automatisieren

Die Erstellung von 3D-Modellen ist selbst für ausgebildete 3D-Kunstschaffende mit einem erheblichen manuellen Aufwand verbunden. Es besteht jedoch ein dringender Bedarf, die Produktion von 3D-Modellen zu automatisieren, die in interaktiven 3D-Umgebungen und -Simulationen verwendet werden können. Die Automatisierung der Synthese interaktiver 3D-Modelle ist von entscheidender Bedeutung für verschiedene Anwendungen wie Umgebungen mit virtueller und gemischter Realität, die Automatisierung von Animationspipelines, das Training von Robotern für die Interaktion mit Objekten, den 3D-Druck funktionaler Objekte und digitale Unterhaltung. Ziel des ERC-finanzierten Projekts NEURi3D ist es in diesem Zusammenhang, die Erstellung interaktiver 3D-Modelle von Objekten und Personen zu automatisieren. Im Rahmen dieses Projekts werden tiefgreifende Architekturen für die Erstellung interaktiver Modelle, Lernmethoden zur Ersetzung realer Objekte durch digitale Repräsentationen und generative Modelle zur automatischen Synthese interaktiver 3D-Objekte und Figuren erschlossen.

Ziel

"Visualizing our surroundings and imagination has been an integral part of human history. In today's era, we have the privilege to immerse in 3D digital environments and interact with virtual objects and characters. However, creating digital representations of environments (i.e. 3D models) often requires excessive amount of manual effort and time even for trained 3D artists. Over the recent years, there have been remarkable advances in deep learning methods that attempt to reconstruct 3D models from real-world data captured in images or scans. However, we are still far from automatically producing 3D models usable in interactive 3D environments and simulations i.e. the resulting reconstructed 3D models lack controllers and metadata related to their articulation structure, possible motions, and interaction with other objects or agents. Automating the synthesis of interactive 3D models is crucial for several applications, such as (a) virtual and mixed reality environments where objects and characters are not static, but instead move and interact with each other, (b) automating animation pipelines, (c) training robots for object interaction in simulated environments, (d) 3D printing of functional objects, (e) digital entertainment. In this project, we will answer the question: ""how can we automate the generation of interactive 3D models of objects and characters?"". Our project will include the following thrusts:
(1) We will design deep architectures that automatically infer motion controllers and interaction-related metadata for input 3D models, effectively making them interactive.
(2) We will develop learning methods that replace dynamic real-world objects and characters captured in scans and video with high-quality, interactive, and animated 3D models as digital representatives.
(3) We will develop generative models that synthesize interactive 3D objects and characters automatically, and further help reconstructing them from scans and video more faithfully."

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-ERC - HORIZON ERC Grants

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) ERC-2023-COG

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Gastgebende Einrichtung

POLYTECHNEIO KRITIS
Netto-EU-Beitrag
€ 2 000 000,00
Adresse
BUILDING E4, TECHNICAL UNIVERSITY CAMPUS COUNOUPIDIANA
731 00 CHANIA
Griechenland
Region
Αττική Aττική Κεντρικός Τομέας Αθηνών
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
€ 2 000 000,00

Begünstigte (1)