Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

How Adaptive Neural Dynamics Weight and Integrate Auditory and Visual Information during Multimodal Language Processing

Projektbeschreibung

Wie das Gehirn mit den Augen zuhört

Die menschliche Sprache umfasst weit mehr als nur Geräusche. Wir lesen von den Lippen, verfolgen Gesten und vermischen das Gehörte mit dem Gesehenen. Dennoch konzentrieren sich die meisten Modelle in Bezug auf die Sprachverarbeitung im Gehirn immer noch ausschließlich auf das Sprechen. Das ERC-finanzierte Projekt HANDWAVE möchte herausfinden, wie das Gehirn auditive und visuelle Signale, einschließlich Sprechen, Lippenbewegungen und Handgesten, miteinander verknüpft. Unter Verwendung fortschrittlicher neurowissenschaftlicher Methoden wird das Projekt die oszillatorischen Rhythmen des Gehirns identifizieren, die es ermöglichen, diese Signale zu integrieren und flexibel zu gewichten. HANDWAVE möchte durch Entschlüsselung des Zusammenwirkens verschiedener Zeitskalen der Hirnaktivität die Theorien zur Sprachverarbeitung neu definieren und innovative klinische Instrumente und Technologien für die Diagnose und Behandlung von Kommunikationsstörungen unterstützen.

Ziel

HANDWAVE will develop a novel framework for understanding the neurobiology of multimodal language, by uncovering the multi-timescale oscillatory mechanisms that enable the flexible integration and weighting of auditory signals, such as speech, and visual signals, such as visual speech and hand gestures. Understanding how the brain integrates and weights these signals is crucial for understanding how natural language is processed in the brain. This knowledge is vital for diagnosing and treating language-related disorders, and for developing effective diagnostic tools and rehabilitation strategies.
Two key gaps remain unaddressed. First, historical models on the neurobiology of language have predominantly focused on unimodal speech signals, overlooking the inherently multimodal nature of language. Second, it is unknown how the complex temporal relations between auditory and visual signals allow them to be integrated into one coherent percept.
HANDWAVE addresses these gaps by testing the central hypothesis that the brain’s flexible coordination of multi-timescale oscillations enables the integration and weighting of auditory and visual signals through (interactions between) phase modulations, power modulations, and functional connectivity. Work package (WP) 1 will uncover the oscillatory mechanisms underlying the integration of speech and visual signals, and whether and how this gives rise to emergent multimodal representations in the brain. WP2 will examine the oscillatory mechanisms underlying the flexible weighting of auditory and visual signals. WP3 will provide causal evidence for the role of oscillatory mechanisms in supporting integration and weighting.
By uncovering the multi-timescale oscillatory mechanisms underlying these processes, HANDWAVE has the potential to redefine theoretical models of the neurobiology of language. Its findings will inspire clinical interventions and communication technologies that better capture the multimodal nature of language.

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-ERC - HORIZON ERC Grants

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) ERC-2025-STG

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Gastgebende Einrichtung

STICHTING RADBOUD UNIVERSITEIT
Netto-EU-Beitrag
€ 1 499 980,00
Adresse
HOUTLAAN 4
6525 XZ Nijmegen
Niederlande
Region
Oost-Nederland Gelderland Arnhem/Nijmegen
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
€ 1 499 980,00

Begünstigte (1)