Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Descrizione del progetto

Integrare le neuroscienze e l’IA per migliorare la comprensione della cognizione umana

Capire come il cervello elabora e integra le informazioni tra i diversi sensi è fondamentale per le neuroscienze e l’intelligenza artificiale. Questi approfondimenti potrebbero permettere applicazioni rivoluzionarie nella decodifica neurale, nelle tecnologie assistive e nell’IA conversazionale. Con il sostegno del programma di azioni Marie Skłodowska-Curie, il progetto CASPER coniugherà le neuroscienze cognitive con tecniche di IA all’avanguardia. Per farlo, userà reti neurali a grafo e modelli linguistici di grandi dimensioni per integrare e rappresentare diversi tipi di dati, tra cui testo, audio, parlato, immagini e segnali neurali (RM funzionale, elettroencefaloramma e magnetoelettroencefalografia). L’obiettivo di CASPER è superare i confini dell’apprendimento multimodale e della registrazione delle rappresentazioni neurali, facilitando la ricostruzione del parlato, la generazione di contenuti cross-modali e lo zero-shot learning. Grazie all’allineamento dell’intelligenza artificiale ai modelli di attività neurale, ci si attende che CASPER contribuisca a ridefinire la rappresentazione cross-modale e l’interpretazione dei segnali neurali.

Obiettivo

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Campo scientifico (EuroSciVoc)

Questo progetto non è ancora stato classificato con EuroSciVoc.
Suggerisci i campi scientifici che ritieni più rilevanti e aiutaci a migliorare il nostro servizio di classificazione.

Parole chiave

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) HORIZON-MSCA-2024-PF-01

Vedi tutti i progetti finanziati nell’ambito del bando

Coordinatore

UNIVERSITA CA' FOSCARI VENEZIA
Contributo netto dell'UE
€ 209 483,28
Indirizzo
DORSODURO 3246
30123 Venezia
Italia
Regione
Nord-Est Veneto Venezia
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
Nessun dato

Partner (2)