Service Communautaire d'Information sur la Recherche et le Développement - CORDIS

ERC

INPAINTING Résultat en bref

Project ID: 319899
Financé au titre de: FP7-IDEAS-ERC
Pays: Espagne

De nouveaux outils pour améliorer la post-production vidéo

Une série de nouveaux algorithmes de calcul facilite la post-production vidéo et améliore les techniques d'inpainting.
De nouveaux outils pour améliorer la post-production vidéo
Ces techniques visent à reconstituer des vidéos endommagées, et sont très utiles en post-production, surtout dans un monde numérique en évolution permanente. Le projet INPAINTING (Inpainting Tools for Video Post-production: Variational theory and fast algorithms), financé par l'UE, a cherché à améliorer le retrait d'un objet dans une scène vidéo. Il voulait remplacer ce processus long et manuel par une solution davantage automatisée. Il a fallu pour cela améliorer l'estimation de la profondeur et du déplacement, ainsi que l'inpainting et la propagation de l'image dans la vidéo.

L'équipe du projet a étudié de nouveaux cadres et modèles mathématiques afin de développer les algorithmes requis. Elle a étudié les similitudes entre les régions de l'image, en ciblant leur taille et forme, concevant un cadre théorique qui peut analyser ces similitudes à plusieurs échelles. Elle a ensuite défini une nouvelle «mesure de covariance affine», qui définit la forme de la zone en question, et tenant aussi compte de la structure de l'image.

Les chercheurs ont alors appliqué cette méthode pour remplir une zone de l'image sans information (par ex. dans le cas du retrait d'un objet). Les algorithmes ont servi à copier des morceaux du reste de l'image et à les assembler de manière cohérente pour couvrir la lacune.

Un autre objectif était de modifier la texture d'un objet dans une vidéo, par exemple en ajoutant un logo ou en masquant un marqueur. Pour cela, les chercheurs ont modifié une seule image et ont propagé l'effet automatiquement dans le reste de la vidéo. Ils ont aussi conçu un modèle continu et des méthodes numériques permettant la propagation de l'image sans restrictions de mouvement, facilitant aussi la gestion des occlusions et les problèmes d'éclairement. Pour améliorer le processus optique en cas d'inpainting, les chercheurs ont développé des algorithmes qui réduisent le temps de calcul et améliorent les mouvements en rotation, avec pour résultat plus de fluidité, d'exactitude et de réalisme.

Par ailleurs, l'équipe a voulu améliorer la profondeur de l'image afin de simplifier la post-production vidéo et de faciliter la production de vidéo 3D. Elle a conçu une méthode pour augmenter la résolution de la carte de profondeur, en se basant sur l'image couleur et en augmentant l'estimation de la profondeur relative à partir d'une seule image. La commercialisation de ces solutions bénéficierait notablement au montage vidéo numérique, qu'il s'agisse de retirer des informations superflues ou d'améliorer la qualité de films anciens.

Informations connexes

Mots-clés

Vidéo, post-production, inpainting, propagation d'image, covariance affine
Numéro d'enregistrement: 188422 / Dernière mise à jour le: 2016-08-31
Domaine: TI, Télécommunications