Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

European Large Open Multi-Modal Foundation Models For Robust Generalization On Arbitrary Data Streams

Description du projet

Développer des modèles de base multimodaux ouverts pour des applications concrètes riches en données

S’appuyant sur l’expertise européenne en matière d’IA et sur l’infrastructure de supercalculateurs, le projet ELLIOT, financé par l’UE, va développer une famille de modèles de fondation généralistes multimodaux fiables: des systèmes d’IA conçus pour acquérir des connaissances générales et des modèles à partir de quantités massives de données de différents types, (vidéos, images et textes, signaux de capteurs, séries chronologiques industrielles et flux satellitaires) et pour transférer efficacement les connaissances acquises à différentes tâches en aval. Contrairement aux modèles de base actuels, qui sont confrontés à d’importants défis en termes de généralisation et de prise en charge des données multimodales, les modèles d’ELLIOT seront capables d’une généralisation et d’un raisonnement solides dans des conditions qui n’ont pas été observées pendant la formation, et s’adapteront aux flux de données multimodales dynamiques, bruyants et qui évoluent dans le temps. Cela permettra de nouvelles applications pour les médias, la modélisation de la terre, les robots, la mobilité, l’ingénierie informatique et l’automatisation des processus.

Objectif

At the heart of ELLIOT is the development of open Multimodal Generalist Foundation Models (MGFMs): AI systems designed to learn general knowledge and patterns from massive amounts of data of various types — from videos, images, and text to sensor signals, industrial time series, and satellite feeds — and efficiently transfer the generic knowledge learned in generalist manner to a wide variety of downstream tasks. Unlike current foundation models that face significant challenges in terms of generalisation capabilities and support for multimodal data, ELLIOT’s models will be capable of robust generalisation across conditions not seen during the training, coping well with dynamic, noisy, and temporally-evolving multimodal data streams. Real and synthetic data, to mitigate data scarcity, will be leveraged for training MGFMs and for further adapting them for specific downstream tasks in domains like media, earth observation, robot perception, mobility, computer engineering and workflow automation. Real data used for training will include data directly provided by members of the consortium as well as data from relevant European Data Spaces, while complementary synthetic data will be generated by exploiting existing generative AI capabilities as well as new ones developed in the project. European HPC infrastructure is directly included in the consortium to ensure the availability of the necessary computing resources.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-RIA - HORIZON Research and Innovation Actions

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-CL4-2024-HUMAN-03

Voir tous les projets financés au titre de cet appel

Coordinateur

ETHNIKO KENTRO EREVNAS KAI TECHNOLOGIKIS ANAPTYXIS
Contribution nette de l'UE
€ 3 077 920,05
Adresse
CHARILAOU THERMI ROAD 6 KM
570 01 THERMI THESSALONIKI
Grèce
Région
Βόρεια Ελλάδα Κεντρική Μακεδονία Θεσσαλονίκη
Type d’activité
Research Organisations
Liens
Coût total
€ 3 077 920,05

Participants (34)

Partenaires (2)