Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon

Opis projektu

Rozwiązanie usprawniające operacje segmentacji dla modeli wizyjno-językowych

Niedawne i coraz bardziej powszechne stosowanie dużych modeli językowych (LLM) i modeli wizyjno-językowych (VLM) wprowadziło nowe funkcje, zdolności i możliwości w różnych usługach. Jednak postępy te spowodowały również wzrost kosztów operacyjnych, ponieważ rozwój takich modeli jest często kosztowny, skomplikowany i czasochłonny. W szczególności segmentacja (niezbędny element w aplikacjach takich jak pojazdy autonomiczne i obrazowanie medyczne) napotyka wyzwania podczas adaptacji do nowych lub złożonych dziedzin i klas. Projekt RAVIOLI, realizowany przy wsparciu programu działania „Maria Skłodowska-Curie”, ma na celu opracowanie skalowalnych i odpornych modeli fuzyjnych stworzonych do segmentacji VLM. Takie rozwiązanie poprawi zdolność adaptacji, dokładność oraz szczegółowość operacji segmentacji, co poprawi ogólne działanie systemów opartych na VLM.

Cel

The proposed research project, RAVIOLI (Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon), aims to significantly advance the field of segmentation by innovatively integrating retrieval-based predictions from a memory with the original predictions of a vision-language model (VLM) through a learnable fusion model. Addressing a critical gap in existing methods, which often struggle to adapt to new or complex classes and domains, RAVIOLI seeks to enhance the accuracy, adaptability, and granularity of segmentation tasks across various applications, from autonomous vehicles to medical imaging. Importantly, there has been no similar attempt to learn a fusion model with these properties in any open-vocabulary dense task, such as segmentation, making our approach truly pioneering. The ambitious scope of this project lies in its aim to create a tailored, flexible, robust, and scalable solution that will redefine the capabilities of vision-language models, setting a new standard in the field of open-vocabulary segmentation. The project will be hosted by the Visual Recognition Group (VRG) at the Czech Technical University in Prague (CTU) under the supervision of Prof. Giorgos Tolias. The fellow, Bill Psomas, with a strong background in computer vision (CV) and deep learning (DL), is well-equipped to lead this research, which will further supported by a secondment at AImageLab, University of Modena and Reggio Emilia (UNIMORE) working with Prof. Rita Cucchiara.

Dziedzina nauki (EuroSciVoc)

Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.

Program(-y)

Temat(-y)

System finansowania

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) HORIZON-MSCA-2024-PF-01

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Koordynator

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Wkład UE netto
€ 191 918,16
Koszt całkowity
Brak danych

Partnerzy (1)