Descripción del proyecto
Automatización de la síntesis interactiva de modelos tridimensionales
La creación de modelos tridimensionales requiere un gran esfuerzo manual, incluso para los artistas tridimensionales más cualificados. Sin embargo, existe una necesidad acuciante de automatizar la producción de modelos tridimensionales utilizables en entornos tridimensionales interactivos y simulaciones. La automatización de la síntesis de modelos tridimensionales interactivos es fundamental para diversas aplicaciones, como los entornos de realidad virtual y mixta, la automatización de conductos de animación, el entrenamiento de robots para la interacción con objetos, la impresión tridimensionales de objetos funcionales y el entretenimiento digital. En este contexto, el equipo del proyecto NEURi3D, financiado por el Consejo Europeo de Investigación, pretende automatizar la creación de modelos tridimensionales interactivos de objetos y personajes. Dicho proyecto desarrollará arquitecturas profundas para crear modelos interactivos, métodos de aprendizaje para sustituir objetos del mundo real por representaciones digitales y modelos generativos para sintetizar automáticamente objetos y personajes interactivos tridimensionales.
Objetivo
"Visualizing our surroundings and imagination has been an integral part of human history. In today's era, we have the privilege to immerse in 3D digital environments and interact with virtual objects and characters. However, creating digital representations of environments (i.e. 3D models) often requires excessive amount of manual effort and time even for trained 3D artists. Over the recent years, there have been remarkable advances in deep learning methods that attempt to reconstruct 3D models from real-world data captured in images or scans. However, we are still far from automatically producing 3D models usable in interactive 3D environments and simulations i.e. the resulting reconstructed 3D models lack controllers and metadata related to their articulation structure, possible motions, and interaction with other objects or agents. Automating the synthesis of interactive 3D models is crucial for several applications, such as (a) virtual and mixed reality environments where objects and characters are not static, but instead move and interact with each other, (b) automating animation pipelines, (c) training robots for object interaction in simulated environments, (d) 3D printing of functional objects, (e) digital entertainment. In this project, we will answer the question: ""how can we automate the generation of interactive 3D models of objects and characters?"". Our project will include the following thrusts:
(1) We will design deep architectures that automatically infer motion controllers and interaction-related metadata for input 3D models, effectively making them interactive.
(2) We will develop learning methods that replace dynamic real-world objects and characters captured in scans and video with high-quality, interactive, and animated 3D models as digital representatives.
(3) We will develop generative models that synthesize interactive 3D objects and characters automatically, and further help reconstructing them from scans and video more faithfully."
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Programa(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Régimen de financiación
HORIZON-ERC - HORIZON ERC GrantsInstitución de acogida
731 00 Chania
Grecia