Descrizione del progetto
Strumento all’avanguardia per affinare la generazione di didascalie delle immagini
I sistemi di generazione di didascalie delle immagini sono limitati perché dipendono fortemente dal contenuto visivo. Questo spiega perché le didascalie generate sono solitamente solo descrittive e trascurano le informazioni chiave necessarie per comprendere l’immagine. Il progetto ROCAP, finanziato dall’UE, mira a introdurre uno strumento di didascalia a beneficio di campi come la geografia, la radiologia e la storia dell’arte, dove le didascalie devono includere informazioni che non possono essere ottenute solo dalle immagini. ROCAP studierà la fattibilità dell’applicazione alla didascalizzazione di immagini mediche e alla storia dell’arte del metodo di generazione delle didascalie sviluppato in un progetto precedente. Grazie al coinvolgimento di esperti in questi settori, il progetto studierà un sistema di generazione di didascalie pratico, lo applicherà come strumento open-source e lo testerà in condizioni reali.
Obiettivo
Image captioning is the process of mapping a visual scene to a short textual description. Automating this process is vital for many computer applications, including information retrieval from visual data, computerized assistance to visually impaired people, and automatic tour guiding. State-of-the-art captioning systems are limited by their heavy reliance on visual contents. As a result, generated captions are often purely descriptive and miss important information that is needed in order to understand the image. This PoC project develops a captioning tool that will be useful for knowledge-intensive areas like Geography, Radiology or Art History, where captions need to include information that cannot be extracted from images alone. It builds on results of the ROCKY ERC AdG project, whose innovative captioning system integrates external knowledge into the captioning process. This allowed the ROCKY project to employ standard methods of image captioning, with a deep convolutional neural network (CNN) for image understanding and a Transformer network for language generation. Thanks to the external knowledge integration, the ROCKY captioning prototype gets substantially closer to human-generated captions than standard captioning systems that do not take external knowledge into account. This PoC project will use this result by implementing a knowledge-aware captioning system that is scalable for practical purposes. The project examines the feasibility of the ROCKY captioning method for Medical Imaging and Art History and implements it for one of these domain as a use case. The project will engage with experts in these domains, specify a practical captioning system, implement it as an open-source tool and test it in realistic situations. The anticipated value of this effort is in the development of a general method that would allow one open-source platform to be multi-purpose, thereby cost-effectively adjustable to needs of different domains.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
- scienze umanistichestoria e archeologiastoria
- scienze mediche e della salutemedicina clinicaradiologia
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Siamo spiacenti… si è verificato un errore inatteso durante l’esecuzione.
È necessario essere autenticati. La sessione potrebbe essere scaduta.
Grazie per il tuo feedback. Riceverai presto un'e-mail di conferma dell'invio. Se hai scelto di ricevere una notifica sullo stato della segnalazione, sarai contattato anche quando lo stato della segnalazione cambierà.
Programma(i)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Argomento(i)
Invito a presentare proposte
(si apre in una nuova finestra) ERC-2022-POC2
Vedi altri progetti per questo bandoMeccanismo di finanziamento
HORIZON-ERC-POC -Istituzione ospitante
3584 CS Utrecht
Paesi Bassi