Descripción del proyecto
Escuchar a nuestras manos
Cuando hablamos, solemos realizar gestos con las manos de manera inconsciente, pero en estrecha sincronía con nuestro discurso. Sin embargo, se desconoce en qué contribuye a la comunicación oral este acoplamiento temporal entre las manos y la boca. El equipo del proyecto HearingHands, financiado con fondos europeos, propone que el vínculo entre los gestos y el habla es una señal audiovisual de la prosodia, que puede influir en la percepción del estrés léxico (p. ej., en español, la diferencia entre la posición del acento prosódico en río y rio, sobre la «i» y la «o» respectivamente) y el tono léxico (p. ej., en idiomas tonales como el chino mandarín). Esta premisa se estudiará en un conjunto de lenguas tipológicamente diferentes y en distintas poblaciones, lo que incluye a las personas con autismo, que tienen dificultades para percibir la prosodia hablada. Mediante el uso de métodos como la neuroimagen y la realidad virtual, se aclarará el papel comunicativo de, incluso, los gestos más sencillos en los que se mueven las manos hacia arriba y hacia abajo.
Objetivo
Human communication in face-to-face conversations is inherently multimodal, combining spoken language with a plethora of multimodal cues including hand gestures. Although most of our understanding of human language comes from unimodal research, the multimodal literature suggests that hand gestures are produced in close synchrony to speech prosody, aligning for instance with stressed syllables in free-stress languages like English. Furthermore, prosody plays a vital role in spoken word recognition in many languages, influencing core cognitive processes involved in speech perception, such as lexical activation, segmentation, and recognition. Consequently, viewing gestural timing as an audiovisual prosody cue raises the possibility that the temporal alignment of hand gestures to speech directly influences what we hear (e.g. distinguishing OBject vs. obJECT). However, research to date has largely overlooked the functional contribution of gestural timing to human communication. Therefore, HearingHands aims to uncover how gesture-speech coupling contributes to audiovisual communication in human interaction. Its objectives are [WP1] to chart the PREVALENCE of the use of gesture-speech coupling as a multimodal prominence cue in production and perception across a typologically diverse set of languages; [WP2] to capture the VARIABILITY in production and perception of gesture-speech coupling in both neurotypical and atypical populations; [WP3] to determine the CONSTRAINTS that govern gestural timing effects in more naturalistic communicative settings. These objectives will be achieved through cross-linguistic comparisons of gesture-speech production and perception, neuroimaging of multimodal integration in autistic and neurotypical individuals, and psychoacoustic tests of gestural timing effects employing eye-tracking and virtual reality. Thus, HearingHands has the potential to revolutionize models of multimodal human communication, delineating how hands help us hear.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2021-STG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
6525 XZ Nijmegen
Países Bajos
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.