Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Empowering Neural Rendering Methods with Physically-Based Capabilities

Descripción del proyecto

Inteligencia artificial tridimensional con control basado en la física

La creación de contenidos tridimensionales implica procesos complejos, que requieren artistas especializados para crear los modelos tridimensionales y costosos algoritmos para renderizar las imágenes finales. Dichas soluciones se utilizan en sectores como los gemelos digitales, la arquitectura, la realidad virtual, los efectos especiales y muchos otros. La creación tradicional de contenidos tridimensionales utiliza el renderizado basado en la física, que simula el transporte de la luz según las leyes de la física, lo cual garantiza resultados muy precisos y realistas, pero normalmente con un elevado coste computacional. Por el contrario, el renderizado neuronal es una potente solución reciente que utiliza el aprendizaje profundo para generar visuales basados en representaciones aprendidas, pero carece de precisión física y control. El equipo del proyecto NERPHYS, financiado por el Consejo Europeo de Investigación, propone introducir nuevas representaciones y algoritmos neuronales de renderizado que permitan la creación computacionalmente eficiente de contenidos tridimensionales mejorados con un control basado en la física.

Objetivo

While long restricted to an elite of expert digital artists, 3D content creation has recently been greatly simplified by deep learning. Neural representations of 3D objects have revolutionized real-world capture from photos, while generative models are starting to enable 3D object synthesis from text prompts. These methods use differentiable neural rendering that allows efficient optimization of the powerful and expressive ``soft'' neural representations, but ignores physically-based principles, and thus has no guarantees on accuracy, severely limiting the utility of the resulting content.

Differentiable physically-based rendering on the other hand can produce 3D assets with physics-based parameters, but depends on rigid traditional ``hard'' graphics representations required for light-transport computation, that make optimization much harder and is also costly, limiting applicability.

In NERPHYS we will combine the strengths of both neural and physically-based rendering, lifting their respective limitations by introducing polymorphic 3D representations, i.e. capable of morphing between different states to accommodate both efficient gradient-based optimization and physically-based light transport. By augmenting these representations with corresponding polymorphic differentiable renderers, our methodology will unleash the potential of neural rendering to produce physically-based 3D assets with guarantees on accuracy.

NERPHYS will have ground-breaking impact on 3D content creation, moving beyond today's simplistic plausible imagery, to full physically-based rendering with guarantees on error, enabling the use of powerful neural rendering methods in any application requiring accuracy. Our polymorphic approach will fundamentally change how we reason about scene representations for geometry and appearance,
while our rendering algorithms will provide a new methodology for image synthesis, e.g. for training data generation or visual effects.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) ERC-2023-ADG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 2 488 029,00
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

€ 2 488 029,00

Beneficiarios (1)

Mi folleto 0 0