Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon

Descrizione del progetto

Una soluzione volta a migliorare le operazioni di segmentazione per i modelli visione-linguaggio

L’uso recente e sempre più diffuso di modelli linguistici di grandi dimensioni (LLM, large language model) e di modelli linguistici di visione (VLM, vision-language model) ha introdotto nuove funzionalità, capacità e possibilità in vari servizi; ciononostante, questi progressi hanno anche fatto aumentare i costi operativi, poiché tali modelli sono spesso costosi, complessi e richiedono molto tempo per essere sviluppati. In particolare, la segmentazione (una componente essenziale in applicazioni come i veicoli autonomi e l’imaging medico) si trova dinanzi a sfide da affrontare quando si adatta a domini e classi nuovi o complessi. Sostenuto dal programma di azioni Marie Skłodowska-Curie, il progetto RAVIOLI si propone di sviluppare un modello di fusione scalabile e solido per la segmentazione dei VLM, fornendo una soluzione che migliorerà l’adattabilità, l’accuratezza e la granularità delle operazioni di segmentazione, il che permetterà di incrementare le prestazioni complessive dei sistemi basati su VLM.

Obiettivo

The proposed research project, RAVIOLI (Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon), aims to significantly advance the field of segmentation by innovatively integrating retrieval-based predictions from a memory with the original predictions of a vision-language model (VLM) through a learnable fusion model. Addressing a critical gap in existing methods, which often struggle to adapt to new or complex classes and domains, RAVIOLI seeks to enhance the accuracy, adaptability, and granularity of segmentation tasks across various applications, from autonomous vehicles to medical imaging. Importantly, there has been no similar attempt to learn a fusion model with these properties in any open-vocabulary dense task, such as segmentation, making our approach truly pioneering. The ambitious scope of this project lies in its aim to create a tailored, flexible, robust, and scalable solution that will redefine the capabilities of vision-language models, setting a new standard in the field of open-vocabulary segmentation. The project will be hosted by the Visual Recognition Group (VRG) at the Czech Technical University in Prague (CTU) under the supervision of Prof. Giorgos Tolias. The fellow, Bill Psomas, with a strong background in computer vision (CV) and deep learning (DL), is well-equipped to lead this research, which will further supported by a secondment at AImageLab, University of Modena and Reggio Emilia (UNIMORE) working with Prof. Rita Cucchiara.

Campo scientifico (EuroSciVoc)

Questo progetto non è ancora stato classificato con EuroSciVoc.
Suggerisci i campi scientifici che ritieni più rilevanti e aiutaci a migliorare il nostro servizio di classificazione.

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) HORIZON-MSCA-2024-PF-01

Vedi tutti i progetti finanziati nell’ambito del bando

Coordinatore

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Contributo netto dell'UE
€ 191 918,16
Indirizzo
JUGOSLAVSKYCH PARTYZANU 1580/3
160 00 PRAHA
Cechia
Regione
Česko Praha Hlavní město Praha
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
Nessun dato

Partner (1)