Le traitement multimédia amélioré
La saillance visuelle est de plus en plus importante pour le traitement informatique des images et des vidéos haute résolution. L'une des limites actuelles associée à la vidéo ultra-haute résolution est l'immensité et la complexité des données associées. L'UE a soutenu le projet SHIVPRO («Saliency-aware high-resolution video processing») pour développer des modèles de saillance hautement nécessaires. Pour aborder la question des images multi-échelles complexes, le modèle spatio-temporel du projet utilise des mesures de saillance statistiques et régionales pour modifier la saillance dans une échelle donnée. Il propage ces modifications à l'aide d'une fusion régionale orientée vers la saillance avec une intégration souple des informations descendantes. La première étape était le développement d'un modèle de saillance régional exploitant les histogrammes des similitudes couleur-espace et deux mesures de ces histogrammes — caractère distinctif et compacité. Ensuite est venue la détection des caractéristiques saillantes pertinentes basées sur le modèle de saillance. Les scientifiques ont proposé un nouveau concept, l'arbre de saillance. L'image est simplifiée pour générer des régions primitives dont les mesures de saillance sont comparées aux mesures mondiales. Une approche de fusion régionale génère l'arbre dans lequel chaque nœud terminal représente une région primitive et chaque nœud non terminal, une région non primitive. Une analyse de saillance systématique produit une carte de saillance haute qualité. Sur la base des modèles ci-dessus, l'équipe a développé son modèle de saillance spatio-temporel efficace basé sur les super-pixels. Les histogrammes de mouvement et de couleur sont extraits des données super-pixels. Une carte de saillance spatiale au niveau du pixel et une carte temporelle similaire sont générées et une méthode de fusion adaptative est utilisée pour les fusionner. Le modèle a démontré des performances supérieures dans la détection de la saillance et la prévision des fixations humaines par rapport à ce que l'on fait de mieux. L'équipe a également étudié la détection de la co-saillance ou l'identification d'objets saillants communs dans un ensemble d'image et proposé des modèles de co-saillance basés sur la segmentation hiérarchiques pour ce faire. Des travaux importants ont permis de faire progresser le codage vidéo efficace avec une meilleure efficacité de codage et une complexité informatique réduite. La capacité à extraire de manière subjective d'importantes caractéristiques pour simplifier le traitement de gros ensembles de données pour les affaires, les applications vidéo fixes et mobiles est d'une importance socio-économique clé. Les scientifiques financés par l'UE ont grandement contribué à améliorer la modélisation de la saillance et la détection s'est révélée supérieure à ce que l'on fait de mieux actuellement.
Mots‑clés
Traitement multimédia, saillance, haute résolution, contenu vidéo, spatio-temporel
