Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Learning Pixel-Perfect 3D Vision and Generative Modeling

Descripción del proyecto

Enseñar a las máquinas a entender lo que ven

La generación de imágenes con ayuda de ordenadores ha avanzado mucho. La tecnología y los algoritmos actuales pueden simular el mundo que nos rodea. Es más, la técnica de visión artificial puede reconocer y predecir identidades y acciones a partir de imágenes o vídeos. Sin embargo, la visión artificial no puede gestionar correctamente formas 3D y su semántica no coincide con el aspecto del diseño «pixel-perfect». Como resultado, el diseño de entornos 3D (por ejemplo, para juegos o películas) sigue siendo laborioso. El proyecto PIPE, financiado con fondos europeos, trabajará para resolver estos problemas utilizando nuevos modelos que combinen visión artificial y simulación con aprendizaje automático para obtener una visión 3D «pixel-perfect» y un modelado generativo. Gracias al uso de un aprendizaje profundo mediante redes neuronales convolucionales, permitirá crear muestras realistas de imágenes sintéticas con sentido.

Objetivo

A fascinating tension exists between computer vision and computer graphics. Decades of research efforts have led to the ability of graphics algorithms to simulate the world to a degree often indistinguishable from reality -- given an accurate enough model of scene geometry and appearance. Similarly, decades of ingenuity have given computer vision techniques the already, at times, superhuman capability of detecting, recognizing, and predicting objects, actions, and identities from pictures or video.

Vision and graphics meet at a common point of pain: the model of scene geometry and appearance. To yield photorealistic results, graphics algorithms require an essentially perfect forward model. Yet, the capability of computer vision algorithms to robustly and accurately reason about the 3D shape and appearance of the world, unfortunately, greatly lags behind the capabilities to detect, recognize, segment, and so on. A great discrepancy exists between the semantic and the pixel-perfect, accurate shape and appearance. Bridging this chasm is the goal of this research.

This entails solving fundamental, long-standing, unsolved problems in computer vision through the aid of computer graphics and machine learning}. First, we seek to simultaneously capture accurate 3D shape and appearance of complex real-world scenes from photographic inputs; second, we seek to extend these capabilities still further to``zero-shot'' generative modelling. These extremely ambitious goals will be reached by marrying simulation (rendering) and machine learning, building on the PI's three existing strengths: (1) ability to capture photorealistic material appearance models using commodity devices; (2) his leading standing in physically-based image synthesis; and (3) his results on generative modeling of photorealistic images through deep convolutional neural networks.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

ERC-COG - Consolidator Grant

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) ERC-2019-COG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

AALTO KORKEAKOULUSAATIO SR
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 1 858 013,00
Dirección
OTAKAARI 1
02150 Espoo
Finlandia

Ver en el mapa

Región
Manner-Suomi Helsinki-Uusimaa Helsinki-Uusimaa
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

€ 1 858 013,00

Beneficiarios (1)

Mi folleto 0 0