Ecological Language: A multimodal approach to language and the brain

Projektinformationen

ECOLANG

ID Finanzhilfevereinbarung: 743035

DOI

10.3030/743035

Projekt abgeschlossen

EK-Unterschriftsdatum 4 Oktober 2017

Startdatum 1 Januar 2018

Enddatum 30 Juni 2024

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 2 243 584,00

EU-Beitrag

€ 2 243 584,00

Koordiniert durch

UNIVERSITY COLLEGE LONDON
United Kingdom

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Conference proceedings (10)

The impact of speakers' multimodal behaviours on adults' learning of semantic information: A corpus-based investigation.

Autoren: Christopher Edwards, Francesco Cabiddu, Harriet Hill-Payne, Ed Donnellan, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 46, 2024
Herausgeber: Cognitive Science Society

The impact of caregivers' multimodal behaviours on children’s word learning: A corpus-based investigation.

Autoren: Ed Donnellan, Antonia Jordan-Barros, Niki Theofilogiannakou, Gwen Brekelmans, Margherita Murgiano, Yasamin Motamedi, Beata Grzyb, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 45, 2023
Herausgeber: Cognitive Science Society

Child-directed speech: the impact of variations in speaking-rate on word learning

Autoren: Jinyu Shi, Yan Gu, Beata Grzyb, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 42, 2020
Herausgeber: Cognitive Science Society

Timing relationships between representational gestures and speech: A corpus based investigation

Autoren: Ed Donnellan, Emir Levent Özder, Hillarie Man, Beata Grzyb, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 44, 2022
Herausgeber: Cognitive Science Society

Are words equally surprising in audio and audio-visual comprehension?

Autoren: Pranava Madhyastha,Ye Zhang, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 45, 2023
Herausgeber: Cognitive Science Society
DOI: 10.48550/arxiv.2307.07277

Onomatopoeia, gestures, actions and words:How do caregivers use multimodal cues in their communication to children?

Autoren: Gabriella Vigliocco, Yasamin Motamedi, Margherita Murgiano, Elizabeth Wonnacott, Chloe Marshall, Pamela Perniss
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 41, 2019
Herausgeber: Cognitive Science Soceity

What Predicts Adult Word Learning in Naturalistic Interactions? A Corpus Study

Autoren: Francesco Cabiddu, Christopher Edwards, Harriet Hill-Payne, Ed Donnellan, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 46, 2024
Herausgeber: Cognitive Science Society

How Speech and Representational Gestures Align in Child-Directed Language: a Corpus-based Study

Autoren: Yumeng Wang, Ed Donnellan, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 45, 2023
Herausgeber: Cognitive Science Society

Electrophysiological signatures of second language multimodal comprehension

Autoren: Ye Zhang, Rong Ding, Diego Frassinelli, Jyrki Tuomainen, Sebastian Klavinskis-Whiting, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 43, 2021
Herausgeber: Cognitive Science Society

The impact of child-directed language on children’s lexical development

Autoren: Shiyu Dong, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, Ausgabe 43, 2021
Herausgeber: Cognitive Science Society

Peer reviewed articles (22)

Social interaction is a catalyst for adult human learning in online contexts

Autoren: Sara De Felice, Gabriella Vigliocco, Antonia F. de C. Hamilton
Veröffentlicht in: Current Biology, Ausgabe 31, 2023, Seite(n) 4853-4859.e3, ISSN 0960-9822
Herausgeber: Cell Press
DOI: 10.1016/j.cub.2021.08.045

The ECOLANG Multimodal Corpus of adult-child and adult-adult Language

Autoren: Yan Gu, Ed Donnellan, Beata Grzyb, Gwen Brekelmans, Margherita Murgiano, Ricarda Brieke, Pamela Perniss, Gabriella Vigliocco
Veröffentlicht in: Scientific Data, Ausgabe 12, 2025, ISSN 2052-4463
Herausgeber: Nature
DOI: 10.1038/s41597-025-04405-1

Communicative efficiency in multimodal language directed at children and adults.

Autoren: Beata Grzyb, Stefan L. Frank, Gabriella Vigliocco
Veröffentlicht in: Journal of Experimental Psychology: General, Ausgabe 153, 2024, Seite(n) 1904-1919, ISSN 0096-3445
Herausgeber: American Psychological Association
DOI: 10.1037/xge0001588

Language development beyond the here‐and‐now: Iconicity and displacement in child‐directed communication

Autoren: Yasamin Motamedi, Margherita Murgiano, Beata Grzyb, Yan Gu, Viktor Kewenig, Ricarda Brieke, Ed Donnellan, Chloe Marshall, Elizabeth Wonnacott, Pamela Perniss, Gabriella Vigliocco
Veröffentlicht in: Child Development, Ausgabe bimonthly, 2024, ISSN 0009-3920
Herausgeber: Blackwell Publishing Inc.
DOI: 10.1111/cdev.14099

The role of iconic gestures and mouth movements in face-to-face communication

Autoren: Anna Krason, Rebecca Fenton, Rosemary Varley, Gabriella Vigliocco
Veröffentlicht in: Psychonomic Bulletin & Review, Ausgabe 29, 2022, Seite(n) 600-612, ISSN 1069-9384
Herausgeber: Psychonomic Society Inc.
DOI: 10.3758/s13423-021-02009-5

Understanding discourse in face-to-face settings: The impact of multimodal cues and listening conditions (in press)

Autoren: Anna Krason, Rosemary Varley, Gabriella Vigliocco
Veröffentlicht in: Journal of Experimental Psychology: Learning, Memory, and Cognition, 2024, ISSN 0278-7393
Herausgeber: American Psychological Association

Ecological Brain: Reframing the Study of Human Behaviour and Cognition (in press)

Autoren: Gabriella Vigliocco, Laura Convertino, Sara De Felice, Lara Gregorians, Viktor Kewenig, Marie A. E. Mueller, Sebastijan Veselic, Mirco Musolesi, Andrew Hudson-Smith, Nick Tyler, Eirini Flouri, and Hugo Spiers
Veröffentlicht in: Royal Society Open Science, 2024, ISSN 2054-5703
Herausgeber: Royal Society Open Science

Learning <i>from</i> others is good, <i>with</i> others is better: the role of social interaction in human acquisition of new knowledge

Autoren: Sara De Felice, Antonia F. de C. Hamilton, Marta Ponari, Gabriella Vigliocco
Veröffentlicht in: Philosophical Transactions of the Royal Society B: Biological Sciences, Ausgabe 378, 2024, ISSN 0962-8436
Herausgeber: Royal Society of London
DOI: 10.1098/rstb.2021.0357

I don’t see what you’re saying: The maluma/takete effect does not depend on the visual appearance of phonemes as they are articulated

Autoren: David M. Sidhu, Gabriella Vigliocco
Veröffentlicht in: Psychonomic Bulletin &amp; Review, Ausgabe 30, 2023, Seite(n) 1521-1529, ISSN 1069-9384
Herausgeber: Psychonomic Society Inc.
DOI: 10.3758/s13423-022-02224-8

Multimodal comprehension in left hemisphere stroke patients

Autoren: Gabriella Vigliocco, Anna Krason, Harrison Stoll, Alessandro Monti, Laurel J. Buxbaum
Veröffentlicht in: Cortex, Ausgabe 133, 2021, Seite(n) 309-327, ISSN 0010-9452
Herausgeber: Masson Publishing
DOI: 10.1016/j.cortex.2020.09.025

Iconicity emerges and is maintained in spoken language.

Autoren: David Vinson, Matthew Jones, David M. Sidhu, Alex Lau-Zhu, Julio Santiago, Gabriella Vigliocco
Veröffentlicht in: Journal of Experimental Psychology: General, Ausgabe 150, 2024, Seite(n) 2293-2308, ISSN 0096-3445
Herausgeber: American Psychological Association
DOI: 10.1037/xge0001024

Mouth and facial informativeness norms for 2276 English words

Autoren: Anna Krason, Ye Zhang, Hillarie Man, Gabriella Vigliocco
Veröffentlicht in: Behavior Research Methods, Ausgabe 56, 2024, Seite(n) 4786-4801, ISSN 1554-3528
Herausgeber: Springer Publishing
DOI: 10.3758/s13428-023-02216-z

More than words: word predictability, prosody, gesture and mouth movements in natural language comprehension

Autoren: Ye Zhang, Diego Frassinelli, Jyrki Tuomainen, Jeremy I. Skipper, Gabriella Vigliocco
Veröffentlicht in: Proceedings of the Royal Society B: Biological Sciences, Ausgabe 288/1955, 2021, Seite(n) 20210500, ISSN 0962-8452
Herausgeber: Royal Society of London
DOI: 10.1098/rspb.2021.0500

The role of multimodal cues in second language comprehension

Autoren: Ye Zhang, Rong Ding, Diego Frassinelli, Jyrki Tuomainen, Sebastian Klavinskis-Whiting, Gabriella Vigliocco
Veröffentlicht in: Scientific Reports, Ausgabe 13, 2023, ISSN 2045-2322
Herausgeber: Nature Publishing Group
DOI: 10.1038/s41598-023-47643-2

When Abstract Becomes Concrete: Naturalistic Encoding of Concepts in the Brain

Autoren: Viktor Kewenig, Gabriella Vigliocco, Jeremy I Skipper
Veröffentlicht in: eLife, 2024, ISSN 2050-084X
Herausgeber: eLife Sciences Publications

Consensus Paper: Situated and Embodied Language Acquisition

Autoren: Lorraine D. Reggin, Ligia E. Gómez Franco, Oleksandr V. Horchak, David Labrecque, Nadia Lana, Laura Rio, Gabriella Vigliocco
Veröffentlicht in: Journal of Cognition, Ausgabe 6, 2023, ISSN 2514-4820
Herausgeber: Ubiquity Press
DOI: 10.5334/joc.308

Situating Language in the Real-World: Authors’ Reply to Commentaries

Autoren: Margherita Murgiano, Yasamin Motamedi, Gabriella Vigliocco
Veröffentlicht in: Journal of Cognition, Ausgabe 4/1, 2021, ISSN 2514-4820
Herausgeber: Ubiquity
DOI: 10.5334/joc.181

Effects of Iconicity in Recognition Memory

Autoren: David M. Sidhu, Nareg Khachatoorian, Gabriella Vigliocco
Veröffentlicht in: Cognitive Science, Ausgabe 47, 2024, ISSN 0364-0213
Herausgeber: Lawrence Erlbaum Associates Inc.
DOI: 10.1111/cogs.13382

Situating Language in the Real-World: The Role of Multimodal Iconicity and Indexicality

Autoren: Margherita Murgiano, Yasamin Motamedi, Gabriella Vigliocco
Veröffentlicht in: Journal of Cognition, Ausgabe 4/1, 2021, ISSN 2514-4820
Herausgeber: Ubiquity
DOI: 10.5334/joc.113

Benefit of visual speech information for word comprehension in post-stroke aphasia

Autoren: Anna Krason, Gabriella Vigliocco, Marja-Liisa Mailend, Harrison Stoll, Rosemary Varley, Laurel J. Buxbaum
Veröffentlicht in: Cortex, Ausgabe 165, 2023, Seite(n) 86-100, ISSN 0010-9452
Herausgeber: Masson Publishing
DOI: 10.1016/j.cortex.2023.04.011

What We Mean When We Say Semantic: A multidiscilpinary semantic glossary (in press)

Autoren: Jamie Reilly, Cory Shain, Valentina Borghesani, Philipp Kuhnke, Gabriella Vigliocco, Jonathan E. Peelle, Bradford Mahon, Laurel Buxbaum, Asifa Majid, Marc Brysbaert, Anna M. Borghi, Simon De Deyne, Guy Dove, Liuba Papeo, Penny M. Pexman, David Poeppel, Gary Lupyan, Paulo Boggio, Gregory Hickock, Laura Gwilliams, Leonardo Fernandino, Daniel Mirman, Evangelia G. Chrysikou, Chaleece Sandberg, Sebasti
Veröffentlicht in: Psychonomic Bulletin and Review, 2024, ISSN 1069-9384
Herausgeber: Psychonomic Society Inc.
DOI: 10.31234/osf.io/xrnb2

Prosodic modulations in child‐directed language and their impact on word learning

Autoren: Jinyu Shi, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Developmental Science, Ausgabe 26, 2023, ISSN 1363-755X
Herausgeber: Blackwell Publishing Inc.
DOI: 10.1111/desc.13357

Other (1)

Explain with, rather than explain to: How explainees shape their own learning (in press)

Autoren: Josephine Beryl Fisher, Katharina Rohlfing, Ed Donnellan, Angela Grimminger, Yan Gu, Gabriella Vigliocco
Veröffentlicht in: Interaction Studies, 2024
Herausgeber: John Benjamins Publishing Company

Book chapters (1)

Beyond robotic speech: mutual benefits to cognitive psychology and artificial intelligence from the study of multimodal communication.

Autoren: Grzyb, Beata; Vigliocco, Gabriella
Veröffentlicht in: Human-Like Machine Intelligence, 2020
Herausgeber: Oxford University Press
DOI: 10.31234/osf.io/h5dxy