Descripción del proyecto
Escuchar a nuestras manos
Cuando hablamos, solemos realizar gestos con las manos de manera inconsciente, pero en estrecha sincronía con nuestro discurso. Sin embargo, se desconoce en qué contribuye a la comunicación oral este acoplamiento temporal entre las manos y la boca. El equipo del proyecto HearingHands, financiado con fondos europeos, propone que el vínculo entre los gestos y el habla es una señal audiovisual de la prosodia, que puede influir en la percepción del estrés léxico (p. ej., en español, la diferencia entre la posición del acento prosódico en río y rio, sobre la «i» y la «o» respectivamente) y el tono léxico (p. ej., en idiomas tonales como el chino mandarín). Esta premisa se estudiará en un conjunto de lenguas tipológicamente diferentes y en distintas poblaciones, lo que incluye a las personas con autismo, que tienen dificultades para percibir la prosodia hablada. Mediante el uso de métodos como la neuroimagen y la realidad virtual, se aclarará el papel comunicativo de, incluso, los gestos más sencillos en los que se mueven las manos hacia arriba y hacia abajo.
Objetivo
Human communication in face-to-face conversations is inherently multimodal, combining spoken language with a plethora of multimodal cues including hand gestures. Although most of our understanding of human language comes from unimodal research, the multimodal literature suggests that hand gestures are produced in close synchrony to speech prosody, aligning for instance with stressed syllables in free-stress languages like English. Furthermore, prosody plays a vital role in spoken word recognition in many languages, influencing core cognitive processes involved in speech perception, such as lexical activation, segmentation, and recognition. Consequently, viewing gestural timing as an audiovisual prosody cue raises the possibility that the temporal alignment of hand gestures to speech directly influences what we hear (e.g. distinguishing OBject vs. obJECT). However, research to date has largely overlooked the functional contribution of gestural timing to human communication. Therefore, HearingHands aims to uncover how gesture-speech coupling contributes to audiovisual communication in human interaction. Its objectives are [WP1] to chart the PREVALENCE of the use of gesture-speech coupling as a multimodal prominence cue in production and perception across a typologically diverse set of languages; [WP2] to capture the VARIABILITY in production and perception of gesture-speech coupling in both neurotypical and atypical populations; [WP3] to determine the CONSTRAINTS that govern gestural timing effects in more naturalistic communicative settings. These objectives will be achieved through cross-linguistic comparisons of gesture-speech production and perception, neuroimaging of multimodal integration in autistic and neurotypical individuals, and psychoacoustic tests of gestural timing effects employing eye-tracking and virtual reality. Thus, HearingHands has the potential to revolutionize models of multimodal human communication, delineating how hands help us hear.
Palabras clave
Programa(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Régimen de financiación
HORIZON-ERC - HORIZON ERC GrantsInstitución de acogida
6525 XZ Nijmegen
Países Bajos