Descrizione del progetto
Modelli innovativi per il restauro digitale di vecchie fotografie e video
Il patrimonio digitale comprende materiali informatici di valore duraturo, come ad esempio fotografie e video, che devono essere conservati per le generazioni future. Tecniche come il restauro digitale, che includono la colorazione e la rimozione degli artefatti, possono migliorare notevolmente questi materiali. Sostenuto dal programma di azioni Marie Skłodowska-Curie (MSCA), il progetto XIDHIR affronta due sfide relative al restauro del patrimonio digitale: la colorazione e il miglioramento delle immagini di vecchie fotografie e video. Sfruttando i metodi di apprendimento profondo, il progetto intende migliorare l’interpretabilità e coinvolgere gli utenti in modo più efficace. In definitiva, XIDHIR cerca di sviluppare modelli che consentano l’interazione con l’utente, facilitando il restauro delle immagini del patrimonio digitale e garantendo risultati di alta qualità e incentrati sull’utente attraverso il coinvolgimento attivo di quest’ultimo nel processo di miglioramento.
Obiettivo
Digital heritage are computer-based materials of enduring value that should be kept for future generations, for example photographs and videos. As an asset of our times, historical photographs and videos can greatly benefit from digital restoration techniques, from colorization or color enhancement to the removal of scratches or other artefacts. In this project, we focus on two cases for digital heritage restoration: colorization and color image enhancement of old photographs and videos. Historically, image enhancement methods were rooted in tailor-made priors using well-understood physics and/or statistical models. Now, deep learning approaches leverage large amounts of data to train generative models that can hallucinate on the generated images. However, the useful versatility of deep learning approaches faces two main problems:
(a) Deep models are black boxes whose inner behaviors are difficult to interpret, which is an important drawback when assessing their reliability, studying failure cases, and improving their robustness. This hinders their direct adoption in the digital heritage restoration process. Thus, explainability is a highly desirable characteristic for image enhancement models.
(b) Image enhancement problems are ill-conditioned, especially for digital heritage photos (e.g. there are many plausible colorizations of a grayscale image). Yet, users rarely have a say in the process of enhancement with deep models, which is typically decided by the model based on statistical decisions. Thus, physically plausible or realistic solutions should be favored, as well as allowing the end user to explore and guide the algorithm towards the intended solution.
In this project, we propose to confront the ill-posed nature of image enhancement problems by a comprehensive involvement of the user in the loop, shifting the important decision-making from the model to the user. This will lead to results that are user oriented and achieve higher quality.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Parole chiave
Programma(i)
- HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA) Main Programme
Meccanismo di finanziamento
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European FellowshipsCoordinatore
08193 Cerdanyola del Valles
Spagna