Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Opis projektu

Połączenie neuronauki i sztucznej inteligencji w celu lepszego zrozumienia ludzkiego poznania

Zrozumienie sposobu przetwarzania i łączenia informacji z różnych zmysłów przez mózg ma kluczowe znaczenie dla rozwoju neuronauki i sztucznej inteligencji. Wiedza w tym obszarze może przełożyć się na przełomowe rozwiązania w zakresie dekodowania neuronów, technologii wspomagających i konwersacyjnej sztucznej inteligencji. Zespół finansowanego ze środków działania „Maria Skłodowska-Curie” projektu CASPER połączy neuronaukę poznawczą z najnowocześniejszymi technikami sztucznej inteligencji. Badacze wykorzystają grafowe sieci neuronowe i duże modele językowe w celu łączenia i przedstawiania danych różnych rodzajów, w tym tekstu, dźwięku, mowy, obrazów i sygnałów neuronowych (fMRI, EEG i MEG). Celem projektu CASPER jest rozwój uczenia multimodalnego i rejestrowania neuronów, co pozwoli na rekonstrukcję mowy, generowanie treści wielomodalnych i naukę od podstaw. Dostosowując sztuczną inteligencję do wzorców aktywności neuronowej, zespół projektu CASPER opracuje nowy sposób reprezentacji międzymodalnej i interpretacji sygnałów neuronowych.

Cel

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Dziedzina nauki (EuroSciVoc)

Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) HORIZON-MSCA-2024-PF-01

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Koordynator

UNIVERSITA CA' FOSCARI VENEZIA
Wkład UE netto
€ 209 483,28
Koszt całkowity
Brak danych

Partnerzy (2)