Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Diversibus Viis Plurima Solvo

Description du projet

Exploiter la puissance de l’IA multimodale

Les modèles d’IA deviennent de plus en plus puissants, mais leur utilisation sur différents types de données (comme le texte, les images et les signaux médicaux) reste une tâche complexe. Les modèles de fondation multimodaux (MMFM) pourraient changer la donne en permettant un apprentissage flexible et efficace dans tous les domaines. Dans cette optique, le projet DVPS, financé par l’UE, s’efforce de rendre les MMFM plus accessibles et plus robustes en s’attaquant à des problèmes tels que l’alignement intermodal et la conception de l’architecture. Il fournira des outils pratiques, notamment une boîte à outils pour la conception de modèles et une suite de benchmarking, afin de soutenir le développement et l’évaluation. Les applications vont de la cardiologie à la géo-intelligence, avec des domaines expérimentaux ajoutés pour pousser l’innovation plus loin. Le projet promeut également des pratiques éthiques en matière d’IA et une collaboration ouverte afin de renforcer la position de l’Europe dans la recherche de pointe sur l’IA.

Objectif

"Foundation models represent a paradigm shift in AI, exhibiting remarkable capabilities across multiple tasks. Their true potential lies in generalizing across diverse domains and modalities, a largely untapped frontier. DVPS advances this frontier by focusing on multimodal foundation models (MMFM), aiming to harness their capabilities across various application domains.

DVPS emphasizes three core benefits of MMFM: label efficiency, compute reusability, and engineering efficiency. However, achieving these benefits in multimodal settings presents challenges such as modality-specific architecture and cross-modal alignment. To overcome these, DVPS aims to develop generalizable methods that work across diverse modalities and domains, creating a unified framework for MMFM development and integrating new modalities into existing models.

The project focuses on generating foundational knowledge, delivering tested methods, and creating algorithms to expand MMFM capabilities across domains like cardiology, geo-intelligence, and language communication. DVPS also includes two ""surprise domains"" to drive innovation by challenging initial assumptions.

Key objectives include the development of AutoDVPS, a toolkit for automated MMFM design, and the creation of DVPSBench, a benchmarking suite for evaluating MMFM across tasks and domains. DVPS aims to foster a European ecosystem for MMFM research, promoting transparency, fairness, and ethical compliance in line with European values. Through collaboration and open-source contributions, DVPS seeks to standardize and advance MMFM as a scientifically rigorous discipline."

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-RIA - HORIZON Research and Innovation Actions

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-CL4-2024-HUMAN-03

Voir tous les projets financés au titre de cet appel

Coordinateur

TRANSLATED SRL
Contribution nette de l'UE
€ 3 131 071,25
Adresse
VIA INDONESIA 23
00144 ROMA
Italie
PME
Oui
Région
Centro (IT) Lazio Roma
Type d’activité
Private for-profit entities (excluding Higher or Secondary Education Establishments)
Liens
Coût total
€ 3 131 071,25

Participants (17)

Partenaires (2)