Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon

Projektbeschreibung

Lösung für verbesserte Segmentierungsoperationen für Bild-Sprache-Modelle

Die jüngste und zunehmend verbreitete Verwendung von großen Sprachmodellen („Large Language Models“, LLM) und Bild-Sprachmodellen („Vision-Language Models“, VLM) hat neue Funktionen, Fähigkeiten und Möglichkeiten für verschiedene Dienste geschaffen. Diese Fortschritte haben jedoch auch die Betriebskosten in die Höhe getrieben, da solche Modelle oft teuer, komplex und zeitaufwändig zu entwickeln sind. Insbesondere die Segmentierung (eine wesentliche Komponente in Anwendungen wie autonomen Fahrzeugen und medizinischer Bildgebung) steht vor Herausforderungen, wenn sie an neue oder komplexe Domänen und Klassen angepasst werden soll. Das im Rahmen der Marie-Skłodowska-Curie-Maßnahmen finanzierte Projekt RAVIOLI zielt auf die Entwicklung eines skalierbaren und robusten Fusionsmodells für die VLM-Segmentierung ab. Diese Lösung wird die Anpassungsfähigkeit, die Genauigkeit und die Granularität von Segmentierungsvorgängen verbessern und damit die Gesamtleistung von VLM-basierten Systemen steigern.

Ziel

The proposed research project, RAVIOLI (Retrieval-Augmented VIsion-Language Models for Open-vocabulary LocalizatIon), aims to significantly advance the field of segmentation by innovatively integrating retrieval-based predictions from a memory with the original predictions of a vision-language model (VLM) through a learnable fusion model. Addressing a critical gap in existing methods, which often struggle to adapt to new or complex classes and domains, RAVIOLI seeks to enhance the accuracy, adaptability, and granularity of segmentation tasks across various applications, from autonomous vehicles to medical imaging. Importantly, there has been no similar attempt to learn a fusion model with these properties in any open-vocabulary dense task, such as segmentation, making our approach truly pioneering. The ambitious scope of this project lies in its aim to create a tailored, flexible, robust, and scalable solution that will redefine the capabilities of vision-language models, setting a new standard in the field of open-vocabulary segmentation. The project will be hosted by the Visual Recognition Group (VRG) at the Czech Technical University in Prague (CTU) under the supervision of Prof. Giorgos Tolias. The fellow, Bill Psomas, with a strong background in computer vision (CV) and deep learning (DL), is well-equipped to lead this research, which will further supported by a secondment at AImageLab, University of Modena and Reggio Emilia (UNIMORE) working with Prof. Rita Cucchiara.

Wissenschaftliches Gebiet (EuroSciVoc)

Dieses Projekt wurde noch nicht bei EuroSciVoc klassifiziert.
Schlagen Sie die Wissenschaftsbereiche vor, die Ihrer Einschätzung nach besonders relevant sind, und helfen Sie uns, unseren Klassifizierungsdienst zu verbessern.

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) HORIZON-MSCA-2024-PF-01

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Netto-EU-Beitrag
€ 191 918,16
Adresse
JUGOSLAVSKYCH PARTYZANU 1580/3
160 00 PRAHA
Tschechien
Region
Česko Praha Hlavní město Praha
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
Keine Daten

Partner (1)