Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

How Adaptive Neural Dynamics Weight and Integrate Auditory and Visual Information during Multimodal Language Processing

Opis projektu

Jak mózg słucha oczami?

Ludzki język to nie tylko dźwięki. Umiemy czytać z ruchu warg, obserwujemy gesty i łączymy rzeczy, które widzimy z informacjami, które słyszymy. Jednak większość modeli przetwarzania języka przez mózg skupia się wyłącznie na mowie. Zespół finansowanego ze środków Europejskiej Rady ds. Badań Naukowych projektu HANDWAVE ma na celu zbadanie, jak mózg łączy informacje słuchowe i wizualne, w tym mowę, ruchy warg i gesty dłoni. Wykorzystując zaawansowane metody neuronaukowe, zespół określi rytmy oscylacyjne mózgu, które umożliwiają łączenie i elastyczne ważenie tych sygnałów. Badając współdziałanie różnych aktywności mózgu w skalach czasowych, zespół projektu HANDWAVE zamierza dokonać przełomu w zakresie teorii przetwarzania języka i umożliwić rozwój nowych narzędzi klinicznych oraz technologii do diagnozowania i leczenia zaburzeń komunikacji.

Cel

HANDWAVE will develop a novel framework for understanding the neurobiology of multimodal language, by uncovering the multi-timescale oscillatory mechanisms that enable the flexible integration and weighting of auditory signals, such as speech, and visual signals, such as visual speech and hand gestures. Understanding how the brain integrates and weights these signals is crucial for understanding how natural language is processed in the brain. This knowledge is vital for diagnosing and treating language-related disorders, and for developing effective diagnostic tools and rehabilitation strategies.
Two key gaps remain unaddressed. First, historical models on the neurobiology of language have predominantly focused on unimodal speech signals, overlooking the inherently multimodal nature of language. Second, it is unknown how the complex temporal relations between auditory and visual signals allow them to be integrated into one coherent percept.
HANDWAVE addresses these gaps by testing the central hypothesis that the brain’s flexible coordination of multi-timescale oscillations enables the integration and weighting of auditory and visual signals through (interactions between) phase modulations, power modulations, and functional connectivity. Work package (WP) 1 will uncover the oscillatory mechanisms underlying the integration of speech and visual signals, and whether and how this gives rise to emergent multimodal representations in the brain. WP2 will examine the oscillatory mechanisms underlying the flexible weighting of auditory and visual signals. WP3 will provide causal evidence for the role of oscillatory mechanisms in supporting integration and weighting.
By uncovering the multi-timescale oscillatory mechanisms underlying these processes, HANDWAVE has the potential to redefine theoretical models of the neurobiology of language. Its findings will inspire clinical interventions and communication technologies that better capture the multimodal nature of language.

Dziedzina nauki (EuroSciVoc)

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-ERC - HORIZON ERC Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) ERC-2025-STG

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

STICHTING RADBOUD UNIVERSITEIT
Wkład UE netto
€ 1 499 980,00
Koszt całkowity
€ 1 499 980,00

Beneficjenci (1)