Distributed dynamic REpresentations for diAlogue Management

Projektinformationen

DREAM

ID Finanzhilfevereinbarung: 819455

DOI

10.3030/819455

Projekt abgeschlossen

EK-Unterschriftsdatum 12 Februar 2019

Startdatum 1 September 2019

Enddatum 31 Mai 2025

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 2 000 000,00

EU-Beitrag

€ 2 000 000,00

Koordiniert durch

UNIVERSITEIT VAN AMSTERDAM
Netherlands

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Open Research Data Pilot (1)

Data Management Plan

The Data Management Plan will specify: - what kind of data will be generated and collected, - where and how it will be stored, and - who will have access to it and under what licence.

Veröffentlichungen

Conference proceedings (34)

Linguistic and Gestural Coordination: Do Learners Converge in Collaborative Dialogue?

Autoren: Arabella Sinclair, Bertrand Schneider
Veröffentlicht in: Proceedings of the 14th International Conference on Educational Data Mining, 2021, ISBN 978-1-7336736-2-4
Herausgeber: EDM

Describing Images Fast and Slow: Quantifying and Predicting the Variation in Human Signals during Visuo-Linguistic Processes

Autoren: Ece Takmaz, Sandro Pezzelle, Raquel Fernández
Veröffentlicht in: Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2024
Herausgeber: Association for Computational Linguistics

Detecting Age-Related Linguistic Patterns in Dialogue: Toward Adaptive Conversational Systems

Autoren: Lennert Jansen, Arabella Sinclair, Margot J. Goot, Raquel Fernández, Sandro Pezzelle
Veröffentlicht in: Proceedings of the Eighth Italian Conference on Computational Linguistics, 2021
Herausgeber: Italian Association for Computational Linguistics

Be Different to Be Better! A Benchmark to Leverage the Complementarity of Language and Vision

Autoren: Sandro Pezzelle, Claudio Greco, Greta Gandolfi, Eleonora Gualdoni, Raffaella Bernardi
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2020, 2020, Seite(n) 2751-2767
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2020.findings-emnlp.248

Towards Pragmatic Production Strategies for Natural Language Generation Tasks

Autoren: Mario Giulianelli
Veröffentlicht in: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2023, Seite(n) 7978-7984
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.emnlp-main.544

Stop Measuring Calibration When Humans Disagree

Autoren: Joris Baan, Wilker Aziz, Barbara Plank, Raquel Fernandez
Veröffentlicht in: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2023, Seite(n) 1892-1915
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.emnlp-main.124

GROOViST: A Metric for Grounding Objects in Visual Storytelling

Autoren: Aditya Surikuchi, Sandro Pezzelle, Raquel Fernández
Veröffentlicht in: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, Seite(n) 3331-3339
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.emnlp-main.202

I see what you mean: Co-Speech Gestures for Reference Resolution in Multimodal Dialogue

Autoren: Esam Ghaleb, Bulat Khaertdinov, Asli Ozyurek, Raquel Fernández
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2025, 2025
Herausgeber: Association for Computational Linguistics

Analysing Human Strategies of Information Transmission as a Function of Discourse Context

Autoren: Mario Giulianelli, Raquel Fernández
Veröffentlicht in: Proceedings of the 25th Conference on Computational Natural Language Learning, 2021
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2021.conll-1.50

Experiential Semantic Information and Brain Alignment: Are Multimodal Models Better than Language Models?

Autoren: Anna Bavaresco, Raquel Fernández
Veröffentlicht in: Proceedings of the 29th Conference on Computational Natural Language Learning (CoNLL), 2025
Herausgeber: Association for Computational Linguistics

Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change

Autoren: Mario Giulianelli, Andrey Kutuzov, Lidia Pivovarova
Veröffentlicht in: Proceedings of the 3rd Workshop on Computational Approaches to Historical Language Change, 2022, Seite(n) 54-67
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.lchange-1.6

Attribution and Alignment: Effects of Local Context Repetition on Utterance Production and Comprehension in Dialogue

Autoren: Aron Molnar, Jaap Jumelet, Mario Giulianelli, Arabella Sinclair
Veröffentlicht in: Proceedings of the 27th Conference on Computational Natural Language Learning (CoNLL), 2023, Seite(n) 254-273
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.conll-1.18

LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks

Autoren: Anna Bavaresco, Raffaella Bernardi, Leonardo Bertolazzi, Desmond Elliott, Raquel Fernández, Albert Gatt, Esam Ghaleb, Mario Giulianelli, Michael Hanna, Alexander Koller, Andre Martins, Philipp Mondorf, Vera Neplenbroek, Sandro Pezzelle, Barbara Plank, David Schlangen, Alessandro Suglia, Aditya K Surikuchi, Ece Takmaz, Alberto Testoni
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2025
Herausgeber: Association for Computational Linguistics

Grounded and Ungrounded Referring Expressions in Human Dialogues: Language Mirrors Different Grounding Conditions

Autoren: Eleonora Gualdoni, Raffaella Bernardi, Sandro Pezzelle, Raquel Fernández
Veröffentlicht in: Proceedings of the 7th Italian Conference on Computational Linguistics, 2020
Herausgeber: CEUR Workshop Proceedings

AnaLog: Testing Analytical and Deductive Logic Learnability in Language Models

Autoren: Samuel Ryb, Mario Giulianelli, Arabella Sinclair, Raquel Fernández
Veröffentlicht in: Proceedings of the 11th Joint Conference on Lexical and Computational Semantics, 2022, Seite(n) 55-68
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.starsem-1.5

Analysing cross-speaker convergence through the lens of automatically detected shared linguistic constructions

Autoren: Ghaleb, E.; Rasenberg, M.; Pouw, W.; Toni, I.; Holler, J.; Özyürek, A.; Fernandez, R.
Veröffentlicht in: Proceedings of the 46th Annual Meeting of the Cognitive Science Society (CogSci 2024), 2024
Herausgeber: Cognitive Science Society

Refer, Reuse, Reduce: Generating Subsequent References in Visual and Conversational Contexts

Autoren: Ece Takmaz, Mario Giulianelli, Sandro Pezzelle, Arabella Sinclair, Raquel Fernández
Veröffentlicht in: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, Seite(n) 4350-4368
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2020.emnlp-main.353

Is Information Density Uniform in Task-Oriented Dialogues?

Autoren: Mario Giulianelli, Arabella Sinclair, Raquel Fernández
Veröffentlicht in: Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 2021
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2021.emnlp-main.652

Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind

Autoren: Ece Takmaz, Nicolo’ Brandizzi, Mario Giulianelli, Sandro Pezzelle, Raquel Fernandez
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2023, 2023, Seite(n) 4198-4217
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.findings-acl.258

Analysing Cross-Speaker Convergence in Face-to-Face Dialogue through the Lens of Automatically Detected Shared Linguistic Constructions

Autoren: Ghaleb, Esam; Rasenberg, Marlou; Pouw, Wim; Toni, Ivan; Holler, Judith; Ozyurek, Asli; Fernandez, Raquel
Veröffentlicht in: Proceedings of the Annual Meeting of the Cognitive Science Society, 2024
Herausgeber: Cognitive Science Society

Probing Cross-Modal Representations in Multi-Step Relational Reasoning

Autoren: Iuliia Parfenova, Desmond Elliott, Raquel Fernández, Sandro Pezzelle
Veröffentlicht in: Proceedings of the 6th Workshop on Representation Learning for NLP (RepL4NLP-2021), 2021
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2021.repl4nlp-1.16

Grammatical Profiling for Semantic Change Detection

Autoren: Mario Giulianelli, Andrey Kutuzov, Lidia Pivovarova
Veröffentlicht in: 2021
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2021.conll-1.33

Learning Co-Speech Gesture Representations in Dialogue through Contrastive Learning: An Intrinsic Evaluation

Autoren: Esam Ghaleb, Bulat Khaertdinov, Marlou Rasenberg, Wim Pouw, Judith Holler, Aslı Özyürek, & Raquel Fernández
Veröffentlicht in: ICMI '24: Proceedings of the 26th International Conference on Multimodal Interaction, 2024
Herausgeber: Association for Computing Machinery

Construction Coordination in First and Second Language Acquisition

Autoren: Sinclair, A.J.; Fernández, R.
Veröffentlicht in: Proceedings of the 25th Workshop on the Semantics and Pragmatics of Dialogue - Full Papers, 2021
Herausgeber: SEMDIAL

Don’t Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models

Autoren: Anna Bavaresco, Alberto Testoni, Raquel Fernández
Veröffentlicht in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2024
Herausgeber: Association for Computational Linguistics

Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions

Autoren: Alberto Testoni, Raquel Fernández
Veröffentlicht in: Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2024
Herausgeber: Association for Computational Linguistics

Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis

Autoren: Mario Giulianelli, Iris Luden, Raquel Fernandez, Andrey Kutuzov
Veröffentlicht in: Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2023, Seite(n) 3130-3148
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.acl-long.176

Construction Repetition Reduces Information Rate in Dialogue

Autoren: Mario Giulianelli, Arabella Sinclair, Raquel Fernández
Veröffentlicht in: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2024, Seite(n) 665-682
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.aacl-main.51

Controllable Text Generation for All Ages: Evaluating a Plug-and-Play Approach to Age-Adapted Dialogue

Autoren: Lennert Jansen, Štěpán Lars Laichter, Arabella Sinclair, Margot van der Goot, Raquel Fernandez, Sandro Pezzelle
Veröffentlicht in: Proceedings of the 2nd Workshop on Natural Language Generation, Evaluation, and Metrics (GEM), 2023, Seite(n) 172-188
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.gem-1.14

Analysing Lexical Semantic Change with Contextualised Word Representations

Autoren: Mario Giulianelli, Marco Del Tredici, Raquel Fernández
Veröffentlicht in: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020, Seite(n) 3960-3973
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2020.acl-main.365

What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability

Autoren: Mario Giulianelli, Joris Baan, Wilker Aziz, Raquel Fernández, Barbara Plank
Veröffentlicht in: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, Seite(n) 14349-14371
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.emnlp-main.887

Naming, Describing, and Quantifying Visual Objects in Humans and LLMs

Autoren: Alberto Testoni, Juell Sprott, Sandro Pezzelle
Veröffentlicht in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2024
Herausgeber: Association for Computational Linguistics

Construction coordination in first and second language acquisition

Autoren: Arabella Sinclair, Raquel Fernández
Veröffentlicht in: Proceedings of the 25th Workshop on the Semantics and Pragmatics of Dialogue, 2021
Herausgeber: SemDial

Generating Image Descriptions via Sequential Cross-Modal Alignment Guided by Human Gaze

Autoren: Ece Takmaz, Sandro Pezzelle, Lisa Beinborn, Raquel Fernández
Veröffentlicht in: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, Seite(n) 4664-4677
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2020.emnlp-main.377

Peer reviewed articles (8)

Structural Persistence in Language Models: Priming as a Window into Abstract Language Representations

Autoren: Arabella Sinclair, Jaap Jumelet, Willem Zuidema, Raquel Fernández
Veröffentlicht in: Transactions of the Association for Computational Linguistics, Ausgabe 10, 2022, Seite(n) 1031-1050, ISSN 2307-387X
Herausgeber: MIT Press
DOI: 10.1162/tacl_a_00504

Linguistic issues behind visual question answering

Autoren: Raffaella Bernardi, Sandro Pezzelle
Veröffentlicht in: Language and Linguistics Compass, 2021, ISSN 1749-818X
Herausgeber: Blackwell
DOI: 10.1111/lnc3.12417

Alignment of code switching varies with proficiency in second language learning dialogue

Autoren: Arabella J. Sinclair, Raquel Fernández
Veröffentlicht in: System, Ausgabe 113, 2024, Seite(n) 102952, ISSN 0346-251X
Herausgeber: Pergamon Press Ltd.
DOI: 10.1016/j.system.2022.102952

The Efficiency of Question‐Asking Strategies in a Real‐World Visual Search Task

Autoren: Alberto Testoni, Raffaella Bernardi, Azzurra Ruggeri
Veröffentlicht in: Cognitive Science, Ausgabe 47, 2024, ISSN 0364-0213
Herausgeber: Lawrence Erlbaum Associates Inc.
DOI: 10.1111/cogs.13396

Semantic Adaptation to the Interpretation of Gradable Adjectives via Active Linguistic Interaction

Autoren: Sandro Pezzelle, Raquel Fernández
Veröffentlicht in: Cognitive Science, Ausgabe 47, 2023, ISSN 0364-0213
Herausgeber: Lawrence Erlbaum Associates Inc.
DOI: 10.1111/cogs.13248

A taxonomy and review of generalization research in NLP

Autoren: Hupkes, Dieuwke; Giulianelli, Mario; Dankers, Verna; Artetxe, Mikel; Elazar, Yanai; Pimentel, Tiago; Christodoulopoulos, Christos; Lasri, Karim; Saphra, Naomi; Sinclair, Arabella; Ulmer, Dennis Thomas; Schottmann, Florian; Batsuren, Khuyagbaatar; Sun, Kaiser; Sinha, Koustouv; Khalatbari, Leila; Ryskina, Maria; Cotterell, Ryan; Jin, Zhijing
Veröffentlicht in: Nature Machine Intelligence, 2023, Seite(n) 1161–1174, ISSN 2522-5839
Herausgeber: Springer Nature

Beyond Perplexity: Examining Temporal Generalization in Large Language Models via Definition Generation

Autoren: Iris Luden, Mario Giulianelli, Raquel Fernández
Veröffentlicht in: Computational Linguistics in the Netherlands Journal, 2024, ISSN 2211-4009
Herausgeber: CLIN/OJS

Word Representation Learning in Multimodal Pre-Trained Transformers: An Intrinsic Evaluation

Autoren: Sandro Pezzelle, Ece Takmaz, Raquel Fernández
Veröffentlicht in: Transactions of the Association for Computational Linguistics, 2021, ISSN 2307-387X
Herausgeber: Association for Computational Linguistics
DOI: 10.1162/tacl_a_00443

Book chapters (1)

Grounded and Ungrounded Referring Expressions in Human Dialogues: Language Mirrors Different Grounding Conditions

Autoren: Eleonora Gualdoni, Raffaella Bernardi, Raquel Fernández, Sandro Pezzelle
Veröffentlicht in: Proceedings of the Seventh Italian Conference on Computational Linguistics CLiC-it 2020, 2025, Seite(n) 223-229
Herausgeber: Accademia University Press
DOI: 10.4000/books.aaccademia.8600

Thesis and dissertations (2)

Neural models of language use

Autoren: Giulianelli, M.
Veröffentlicht in: 2023
Herausgeber: University of Amsterdam

Visual and linguistic processes in deep neural networks

Autoren: Takmaz, E.K.
Veröffentlicht in: 2024
Herausgeber: University of Amsterdam

Other (3)

Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models.

Autoren: Anna Bavaresco, Marianne Heer Kloots, Sandro Pezzelle, & Raquel Fernández
Veröffentlicht in: 2025
Herausgeber: Arxiv

Incremental Alternative Sampling as a Lens into the Temporal and Representational Resolution of Linguistic Prediction.

Autoren: Mario Giulianelli, Sarenne Wallbridge, Ryan Cotterell, & Raquel Fernández
Veröffentlicht in: 2025
Herausgeber: PsyArXiv

RACQUET: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs.

Autoren: Alberto Testoni, Barbara Plank, & Raquel Fernández
Veröffentlicht in: 2025
Herausgeber: Arxiv