Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

How Adaptive Neural Dynamics Weight and Integrate Auditory and Visual Information during Multimodal Language Processing

Descripción del proyecto

Cómo el cerebro escucha con los ojos

El lenguaje humano es algo más que sonidos. Leemos los labios, seguimos los gestos y combinamos lo que oímos con lo que vemos. Sin embargo, la mayoría de los modelos de procesamiento cerebral del lenguaje se siguen basando únicamente en el habla. El proyecto HANDWAVE, financiado por el Consejo Europeo de Investigación, tiene por objeto dilucidar cómo el cerebro entrelaza las señales auditivas y las visuales, como el habla, los movimientos de los labios y los gestos de las manos. El equipo del proyecto empleará métodos neurocientíficos avanzados para identificar los ritmos oscilatorios del cerebro que ayudan a integrar y ponderar con flexibilidad estas señales. Al esclarecer cómo interactúan las distintas escalas temporales de la actividad cerebral, HANDWAVE busca redefinir los modelos teóricos del procesamiento del lenguaje y favorecer el desarrollo de nuevas herramientas y tecnologías clínicas para el diagnóstico y tratamiento de los trastornos de la comunicación.

Objetivo

HANDWAVE will develop a novel framework for understanding the neurobiology of multimodal language, by uncovering the multi-timescale oscillatory mechanisms that enable the flexible integration and weighting of auditory signals, such as speech, and visual signals, such as visual speech and hand gestures. Understanding how the brain integrates and weights these signals is crucial for understanding how natural language is processed in the brain. This knowledge is vital for diagnosing and treating language-related disorders, and for developing effective diagnostic tools and rehabilitation strategies.
Two key gaps remain unaddressed. First, historical models on the neurobiology of language have predominantly focused on unimodal speech signals, overlooking the inherently multimodal nature of language. Second, it is unknown how the complex temporal relations between auditory and visual signals allow them to be integrated into one coherent percept.
HANDWAVE addresses these gaps by testing the central hypothesis that the brain’s flexible coordination of multi-timescale oscillations enables the integration and weighting of auditory and visual signals through (interactions between) phase modulations, power modulations, and functional connectivity. Work package (WP) 1 will uncover the oscillatory mechanisms underlying the integration of speech and visual signals, and whether and how this gives rise to emergent multimodal representations in the brain. WP2 will examine the oscillatory mechanisms underlying the flexible weighting of auditory and visual signals. WP3 will provide causal evidence for the role of oscillatory mechanisms in supporting integration and weighting.
By uncovering the multi-timescale oscillatory mechanisms underlying these processes, HANDWAVE has the potential to redefine theoretical models of the neurobiology of language. Its findings will inspire clinical interventions and communication technologies that better capture the multimodal nature of language.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) ERC-2025-STG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

STICHTING RADBOUD UNIVERSITEIT
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 1 499 980,00
Dirección
HOUTLAAN 4
6525 XZ Nijmegen
Países Bajos

Ver en el mapa

Región
Oost-Nederland Gelderland Arnhem/Nijmegen
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

€ 1 499 980,00

Beneficiarios (1)

Mi folleto 0 0