Descripción del proyecto
Contenidos tridimensionales creados automáticamente para diversas aplicaciones
Los recientes avances en los métodos de generación de imágenes, como las redes generativas antagónicas y los modelos de difusión, han mejorado enormemente el realismo. Sin embargo, el modelado tridimensional para gráficos por ordenador y experiencias inmersivas sigue rezagado. El proyecto Gen3D, financiado por el Consejo Europeo de Investigación, pretende colmar esta laguna generando automáticamente contenidos tridimensionales para mundos virtuales, permitiendo una renderización flexible desde distintos puntos de vista y manteniendo al mismo tiempo la fidelidad visual del mundo real. El proyecto dará soporte a diversas aplicaciones, como videojuegos, películas, realidad aumentada, realidad virtual, diseño asistido por ordenador, visualización arquitectónica e imágenes médicas. Se centrará en el desarrollo de modelos generativos tridimensionales capaces de producir mallas poligonales con texturas y propiedades de materiales, mejorando al mismo tiempo el control y la editabilidad mediante la generación condicional tanto para usuarios noveles como expertos.
Objetivo
In recent years, we have seen a revolution of learning methods that generate highly-realistic images, such as generative adversarial neural networks, autoregressive methods, or diffusion models (e.g. DALL-E, Stable Diffusion, Runway, etc). Unfortunately, the vast majority of these methods are tailored towards the 2D image domain, while their respective 3D counterparts 3D models that fuel computer graphics applications, and enable visually immersive experiences remain in their infancy.
In this proposal, we tackle the challenge of automatic generation of 3D content for virtual worlds. Such 3D generated content enables versatility, with flexible rendering from arbitrary viewpoints that match the visual fidelity of the real world. We focus on 3D content creation for visually immersive experiences for a much wider audience in myriad applications, such as video games, movies, AR/VR scenarios, CAD modeling, architectural & industrial design, and medical applications. We believe that the key towards automated, high-fidelity content creation lies in developing new machine learning techniques to transform 3D content generation.
(A) We will develop 3D Generative Models that output 3D polygon meshes, along with their surface textures and material properties, highlighting generation of 3D content that can be directly consumed by modern graphics pipelines.
(B) To train our 3D generative models to reflect the complexity and diversity of real data, we will devise methods for Supervision from Images and Videos. The key challenge here is that such collections of images and videos are by nature incomplete projections of the underlying 3D world, thus requiring learning paradigms that generalize across partial instances.
(C) We will research techniques that provide Control and Editability through Conditional Generation. In particular, we will focus on conditional input from both novice (e.g. text-based editing) and expert (e.g. based on existing authoring tools) users alike.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
- ciencias sociales ciencias políticas transiciones políticas revoluciones
- ingeniería y tecnología ingeniería ambiental energía y combustibles
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2024-COG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
80333 Muenchen
Alemania
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.