Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch Deutsch
CORDIS - Forschungsergebnisse der EU
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Projektbeschreibung

Neurowissenschaften und KI für besseres Verständnis der menschlichen Kognition verknüpfen

Zu verstehen, wie das Gehirn Informationen über verschiedene Sinne hinweg verarbeitet und integriert, ist im Bereich der Neurowissenschaften und künstlichen Intelligenz (KI) von entscheidender Bedeutung. Ein besseres Verständnis könnte bahnbrechende Anwendungen im Bereich der neuronalen Dekodierung, der assistiven Technologien und der kommunizierenden KI erschließen. Das Team des innerhalb der Marie-Skłodowska-Curie-Maßnahmen unterstützten Projekts CASPER wird kognitive Neurowissenschaften mit modernsten KI-Verfahren verbinden. Es wird grafische neuronale Netzwerke und große Sprachmodelle einsetzen, um verschiedene Datentypen zu integrieren und darzustellen, darunter Text, Audio, Sprache, Bilder und neuronale Signale (fMRT, EEG und MEG). Das Ziel von CASPER besteht darin, die Grenzen des multimodalen Lernens und der Aufzeichnung neuronaler Repräsentationen zu erweitern, um die Rekonstruktion von Sprache, die Generierung von modalitätsübergreifenden Inhalten und das Zero-Shot-Lernen zu erleichtern. Mithilfe der Arbeit von CASPER wird KI mit neuronalen Aktivitätsmustern abgeglichen, um dazu beizutragen, die modalitätsübergreifende Darstellung und Interpretation neuronaler Signale neu zu definieren.

Ziel

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Wissenschaftliches Gebiet (EuroSciVoc)

CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.

Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen

Schlüsselbegriffe

Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).

Programm/Programme

Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.

Thema/Themen

Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.

Finanzierungsplan

Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.

(öffnet in neuem Fenster) HORIZON-MSCA-2024-PF-01

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

UNIVERSITA CA' FOSCARI VENEZIA
Netto-EU-Beitrag

Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.

€ 209 483,28
Adresse
DORSODURO 3246
30123 VENEZIA
Italien

Auf der Karte ansehen

Region
Nord-Est Veneto Venezia
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten

Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.

Keine Daten

Partner (2)

Mein Booklet 0 0