Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Description du projet

Intégrer les neurosciences et l’IA pour mieux comprendre la cognition humaine

Comprendre comment le cerveau traite et intègre les informations provenant de différents sens est essentiel pour les neurosciences et l’IA. Une meilleure compréhension pourrait déboucher sur des applications révolutionnaires en matière de décodage neuronal, de technologies d’assistance et d’IA conversationnelle. Avec le soutien du programme Actions Marie Skłodowska-Curie, le projet CASPER fusionnera les neurosciences cognitives avec des techniques d’IA de pointe. Il utilisera des réseaux neuronaux graphiques et de grands modèles de langage pour intégrer et représenter divers types de données, y compris le texte, l’audio, la parole, les images et les signaux neuronaux (IRMf, EEG et MEG). L’objectif de CASPER est de repousser les limites de l’apprentissage multimodal et de l’enregistrement des représentations neuronales, en facilitant la reconstruction de la parole, la génération de contenu multimodal et l’apprentissage à partir de zéro. En alignant l’IA sur les modèles d’activité neuronale, CASPER devrait contribuer à redéfinir la représentation multimodale et l’interprétation des signaux neuronaux.

Objectif

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Champ scientifique (EuroSciVoc)

Ce projet n'a pas encore été classé par EuroSciVoc.
Proposez les domaines scientifiques qui vous semblent les plus pertinents et aidez-nous à améliorer notre service de classification.

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2024-PF-01

Voir tous les projets financés au titre de cet appel

Coordinateur

UNIVERSITA CA' FOSCARI VENEZIA
Contribution nette de l'UE
€ 209 483,28
Coût total
Aucune donnée

Partenaires (2)