Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Description du projet

Intégrer les neurosciences et l’IA pour mieux comprendre la cognition humaine

Comprendre comment le cerveau traite et intègre les informations provenant de différents sens est essentiel pour les neurosciences et l’IA. Une meilleure compréhension pourrait déboucher sur des applications révolutionnaires en matière de décodage neuronal, de technologies d’assistance et d’IA conversationnelle. Avec le soutien du programme Actions Marie Skłodowska-Curie, le projet CASPER fusionnera les neurosciences cognitives avec des techniques d’IA de pointe. Il utilisera des réseaux neuronaux graphiques et de grands modèles de langage pour intégrer et représenter divers types de données, y compris le texte, l’audio, la parole, les images et les signaux neuronaux (IRMf, EEG et MEG). L’objectif de CASPER est de repousser les limites de l’apprentissage multimodal et de l’enregistrement des représentations neuronales, en facilitant la reconstruction de la parole, la génération de contenu multimodal et l’apprentissage à partir de zéro. En alignant l’IA sur les modèles d’activité neuronale, CASPER devrait contribuer à redéfinir la représentation multimodale et l’interprétation des signaux neuronaux.

Objectif

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Champ scientifique (EuroSciVoc)

CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.

Vous devez vous identifier ou vous inscrire pour utiliser cette fonction

Mots‑clés

Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).

Programme(s)

Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.

Thème(s)

Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.

Régime de financement

Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2024-PF-01

Voir tous les projets financés au titre de cet appel

Coordinateur

UNIVERSITA CA' FOSCARI VENEZIA
Contribution nette de l'UE

La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.

€ 209 483,28
Coût total

Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.

Aucune donnée

Partenaires (2)

Mon livret 0 0