Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon

Description du projet

Améliorer la segmentation des modèles vision-langage

L’utilisation récente et de plus en plus répandue de grands modèles de langage (LLM) et de modèles vision-langage (VLM) a introduit de nouvelles fonctions, capacités et possibilités dans divers services. Cependant, ces progrès ont également entraîné une augmentation des coûts opérationnels, car ces modèles sont souvent onéreux, complexes et longs à développer. La segmentation (un élément essentiel des applications telles que les véhicules autonomes et l’imagerie médicale) est tout particulièrement confrontée à des défis lorsqu’elle est adaptée à de nouveaux ou complexes domaines et à classes. Soutenu par le programme Actions Marie Skłodowska-Curie, le projet RAVIOLI va développer un modèle de fusion évolutif et robuste conçu pour la segmentation des VLM. Cette solution améliorera l’adaptabilité, la précision et la granularité des opérations de segmentation, et par conséquent les performances globales des systèmes basés sur les VLM.

Objectif

The proposed research project, RAVIOLI (Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon), aims to significantly advance the field of segmentation by innovatively integrating retrieval-based predictions from a memory with the original predictions of a vision-language model (VLM) through a learnable fusion model. Addressing a critical gap in existing methods, which often struggle to adapt to new or complex classes and domains, RAVIOLI seeks to enhance the accuracy, adaptability, and granularity of segmentation tasks across various applications, from autonomous vehicles to medical imaging. Importantly, there has been no similar attempt to learn a fusion model with these properties in any open-vocabulary dense task, such as segmentation, making our approach truly pioneering. The ambitious scope of this project lies in its aim to create a tailored, flexible, robust, and scalable solution that will redefine the capabilities of vision-language models, setting a new standard in the field of open-vocabulary segmentation. The project will be hosted by the Visual Recognition Group (VRG) at the Czech Technical University in Prague (CTU) under the supervision of Prof. Giorgos Tolias. The fellow, Bill Psomas, with a strong background in computer vision (CV) and deep learning (DL), is well-equipped to lead this research, which will further supported by a secondment at AImageLab, University of Modena and Reggio Emilia (UNIMORE) working with Prof. Rita Cucchiara.

Champ scientifique (EuroSciVoc)

Ce projet n'a pas encore été classé par EuroSciVoc.
Proposez les domaines scientifiques qui vous semblent les plus pertinents et aidez-nous à améliorer notre service de classification.

Programme(s)

Thème(s)

Régime de financement

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2024-PF-01

Voir tous les projets financés au titre de cet appel

Coordinateur

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Contribution nette de l'UE
€ 191 918,16
Adresse
JUGOSLAVSKYCH PARTYZANU 1580/3
160 00 PRAHA
Tchéquie
Région
Česko Praha Hlavní město Praha
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
Aucune donnée

Partenaires (1)