Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

new eXplainable models that allow the user to Interact with them to benefit Digital Heritage Image Restoration

Description du projet

Modèles innovants pour la restauration numérique de photographies et de vidéos anciennes

Le patrimoine numérique englobe les documents informatisés d’importance durable, tels que les photographies et les vidéos, qui doivent être préservés pour les générations futures. Des techniques telles que la restauration numérique, qui comprennent la colorisation et l’élimination des artefacts, peuvent grandement améliorer ces matériaux. Soutenu par le programme Actions Marie Skłodowska-Curie (MSCA), le projet XIDHIR cible deux défis de restauration au sein du patrimoine numérique: la colorisation et l’amélioration d’images de photographies et de vidéos anciennes. En s’appuyant sur des méthodes d’apprentissage profond, le projet vise à améliorer l’explicabilité et à impliquer les utilisateurs de manière plus efficace. En fin de compte, XIDHIR cherchera à développer des modèles qui permettront une interaction avec l’utilisateur, facilitant la restauration des images du patrimoine numérique et garantissant des résultats de haute qualité, centrés sur l’utilisateur, grâce à l’implication active de ce dernier dans le processus d’amélioration.

Objectif

Digital heritage are computer-based materials of enduring value that should be kept for future generations, for example photographs and videos. As an asset of our times, historical photographs and videos can greatly benefit from digital restoration techniques, from colorization or color enhancement to the removal of scratches or other artefacts. In this project, we focus on two cases for digital heritage restoration: colorization and color image enhancement of old photographs and videos. Historically, image enhancement methods were rooted in tailor-made priors using well-understood physics and/or statistical models. Now, deep learning approaches leverage large amounts of data to train generative models that can hallucinate on the generated images. However, the useful versatility of deep learning approaches faces two main problems:
(a) Deep models are black boxes whose inner behaviors are difficult to interpret, which is an important drawback when assessing their reliability, studying failure cases, and improving their robustness. This hinders their direct adoption in the digital heritage restoration process. Thus, explainability is a highly desirable characteristic for image enhancement models.
(b) Image enhancement problems are ill-conditioned, especially for digital heritage photos (e.g. there are many plausible colorizations of a grayscale image). Yet, users rarely have a say in the process of enhancement with deep models, which is typically decided by the model based on statistical decisions. Thus, physically plausible or realistic solutions should be favored, as well as allowing the end user to explore and guide the algorithm towards the intended solution.
In this project, we propose to confront the ill-posed nature of image enhancement problems by a comprehensive involvement of the user in the loop, shifting the important decision-making from the model to the user. This will lead to results that are user oriented and achieve higher quality.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2023-PF-01

Voir tous les projets financés au titre de cet appel

Coordinateur

CENTRE DE VISIO PER COMPUTADOR
Contribution nette de l'UE
€ 165 312,96
Coût total
Aucune donnée