Objectif
Research objectives and content
For virtual studio TV production, MPEG-4 video object coding, and multi-site videoconference applications using a virtual meeting room, synthetic and natural image sequences are mixed to generate a synthetic/natural hybrid image sequence. If the natural and the synthetic objects are illuminated differently and non-diffusely, e.g. by spot lights at different positions, the shading of the natural objects do not match that of the synthetic objects leading to annoying artefacts in the synthetic/natural hybrid image sequence.
In this project, the shading effects in the natural image sequence will be compensated such that natural and synthetic objects appear as beeing illuminated by the same illumination. For first time for shading compensation, the illumination of the natural objects will be described physically by illumination parameters defining two point light sources and ambient diffuse light. Using available prior knowledge on 3D shape and motion of the natural objects, the illumination parameters will be automatically derived from a set of images of the natural image sequence by maximum-likelihood estimation. For first time, the estimator will take into account errors in a) given 3D shape and motion, b) image noise and quantization, and c) model failures like specular reflections. The proposed illumination estimation and shading compensation method will be integrated in a multisite videoconference system developed by the host organization INRIA.
Training content (objective, benefit and expected impact)
By this training, the TMR applicant will achieve scientific and methodical skills. Scientifically, he will benefit from experience of the host organization INRIA in fields related to the TMR project like statistical modelling and robust analysis of image sequences as well as physics-based illumination models for computer graphics. Methodically, at INRIA he will learn from working in an environment of collaborative applied research with industrial and European partners.
Links with industry / industrial relevance (22)
In this project, the natural objects will be described by the VRML/MPEG-4 syntax for synthetic/natural hybrid coding (SNHC). By using this forthcoming world-wide standard, industrial relevance is achieved, because results of this project will be compatible with other VRML/MPEG-4 applications.
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Données non disponibles
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Coordinateur
35042 Rennes
France
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.