Projektbeschreibung
Auf unsere Hände hören
Wir verwenden beim Sprechen oft synchron mit unserer Sprache unbewusst Handgesten. Doch es ist noch unbekannt, was diese zeitliche Verknüpfung zwischen Händen und Mund zur gesprochenen Kommunikation beiträgt. Das EU-finanzierte Projekt HearingHands stellt die These auf, dass die Verbindung zwischen Gestik und Sprache ein audiovisueller Hinweis auf Prosodie ist und sich möglicherweise auf die Wahrnehmung der lexikalischen Betonung (z. B. UMfahren vs. umFAHREN) und die lexikalische Intonation (z. B. in Tonsprachen wie Mandarin) auswirkt. Diese These wird anhand typologisch unterschiedlicher Sprachen und über verschiedene Bevölkerungsgruppen, darunter auch Menschen mit Autismus, die bekanntermaßen Probleme mit gesprochener Prosodie haben, hinweg analysiert. Mit Methoden wir Neurobildgebung und virtueller Realität wird die kommunikative Rolle von selbst den einfachsten Handbewegungen beleuchtet.
Ziel
Human communication in face-to-face conversations is inherently multimodal, combining spoken language with a plethora of multimodal cues including hand gestures. Although most of our understanding of human language comes from unimodal research, the multimodal literature suggests that hand gestures are produced in close synchrony to speech prosody, aligning for instance with stressed syllables in free-stress languages like English. Furthermore, prosody plays a vital role in spoken word recognition in many languages, influencing core cognitive processes involved in speech perception, such as lexical activation, segmentation, and recognition. Consequently, viewing gestural timing as an audiovisual prosody cue raises the possibility that the temporal alignment of hand gestures to speech directly influences what we hear (e.g. distinguishing OBject vs. obJECT). However, research to date has largely overlooked the functional contribution of gestural timing to human communication. Therefore, HearingHands aims to uncover how gesture-speech coupling contributes to audiovisual communication in human interaction. Its objectives are [WP1] to chart the PREVALENCE of the use of gesture-speech coupling as a multimodal prominence cue in production and perception across a typologically diverse set of languages; [WP2] to capture the VARIABILITY in production and perception of gesture-speech coupling in both neurotypical and atypical populations; [WP3] to determine the CONSTRAINTS that govern gestural timing effects in more naturalistic communicative settings. These objectives will be achieved through cross-linguistic comparisons of gesture-speech production and perception, neuroimaging of multimodal integration in autistic and neurotypical individuals, and psychoacoustic tests of gestural timing effects employing eye-tracking and virtual reality. Thus, HearingHands has the potential to revolutionize models of multimodal human communication, delineating how hands help us hear.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Geisteswissenschaften Sprachen und Literatur Sprachwissenschaft Phonetik
- Sozialwissenschaften Psychologie Psycholinguistik
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Wir bitten um Entschuldigung ... während der Ausführung ist ein unerwarteter Fehler aufgetreten.
Sie müssen sich authentifizieren. Ihre Sitzung ist möglicherweise abgelaufen.
Vielen Dank für Ihr Feedback. Sie erhalten in Kürze eine E-Mail zur Übermittlungsbestätigung. Wenn Sie sich für eine Benachrichtigung über den Berichtsstatus entschieden haben, werden Sie auch im Falle einer Änderung des Berichtsstatus benachrichtigt.
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.1.1 - European Research Council (ERC)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-ERC - HORIZON ERC Grants
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) ERC-2021-STG
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenGastgebende Einrichtung
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
6525 XZ Nijmegen
Niederlande
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.