Autonomous Linguistic Emergence in neural Networks

Projektinformationen

ALiEN

ID Finanzhilfevereinbarung: 101019291

DOI

10.3030/101019291

EK-Unterschriftsdatum 26 Mai 2021

Startdatum 1 Januar 2022

Enddatum 31 Dezember 2026

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 2 489 541,00

EU-Beitrag

€ 2 489 541,00

Koordiniert durch

UNIVERSIDAD POMPEU FABRA
Spain

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Conference proceedings (19)

The emergence of numerical representations in communicating artificial agents

Autoren: Daniela Mihai, Lucas Weber, Francesca Franzon
Veröffentlicht in: Proceedings of Evolang XVI, 2026, Seite(n) 308-315
Herausgeber: The Evolution of Language Conferences

Cross-domain image captioning with discriminative finetuning.

Autoren: R. Dessì, M. Bevilacqua, E. Gualdoni, N. Rakotonirina, F. Franzon, M. Baroni
Veröffentlicht in: Proceedings of CVPR 2023 (IEEE/CVF Conference on Computer Vision and Pattern Recognition), 2023, Seite(n) 6935-6944
Herausgeber: Computer Vision Foundation

Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili

Autoren: Jacobs, C., Rakotonirina, N.C., Chimoto, E.A., Bassett, B.A., Kamper, H.
Veröffentlicht in: Proc. INTERSPEECH 2023, 2023
Herausgeber: ISCA
DOI: 10.21437/interspeech.2023-421

On the Correspondence between Compositionality and Imitation in Emergent Neural Communication

Autoren: E. Cheng, M. Rita, T. Poibeau
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2023, 2023, Seite(n) 12432–12447
Herausgeber: ACL

Referential communication in heterogeneous communities of pre-trained visual deep networks.

Autoren: M. Mahaut, F. Franzon, R. Dessì, M. Baroni
Veröffentlicht in: Proc. of the 22nd International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2023), 2023, Seite(n) 2619-2621
Herausgeber: International Foundation for Autonomous Agents and Multiagent Systems

Not a nuisance but a useful heuristic: Outlier dimensions favor frequent tokens in language models

Autoren: Iuri Macocco, Nora Graichen, Gemma Boleda, Marco Baroni
Veröffentlicht in: Proceedings of the 8th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, 2025, Seite(n) 109-136
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2025.blackboxnlp-1.6

Geometric Signatures of Compositionality Across a Language Model’s Lifetime

Autoren: Jin Hwa Lee, Thomas Jiralerspong, Lei Yu, Yoshua Bengio, Emily Cheng
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025, Seite(n) 5292-5320
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2025.acl-long.265

Communication breakdown: On the low mutual intelligibility between human and neural captioning

Autoren: R. Dessì, E. Gualdoni, F. Franzon, G. Boleda, M. Baroni
Veröffentlicht in: Proceedings of EMNLP 2022 (Conference on Empirical Methods in Natural Language Processing), 2022, Seite(n) 7998-8007
Herausgeber: ACL

Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators

Autoren: Matéo Mahaut, Laura Aina, Paula Czarnowska, Momchil Hardalov, Thomas Müller, Lluis Marquez
Veröffentlicht in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2024, Seite(n) 4554-4570
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.acl-long.250

Evil twins are not that evil: Qualitative insights into machine-generated prompts

Autoren: Nathanaël Carraz Rakotonirina, Corentin Kervadec, Francesca Franzon, Marco Baroni
Veröffentlicht in: Proceedings of the 8th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, 2025, Seite(n) 48-68
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2025.blackboxnlp-1.3

Bridging information-theoretic and geometric compression in language models

Autoren: Cheng, Emily; Kervadec, Corentin; Baroni, Marco
Veröffentlicht in: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023
Herausgeber: Association for Computational Linguistics

MemoryPrompt: A light wrapper to improve context tracking in pre-trained language models

Autoren: Rakotonirina, Nathanael; Baroni, Marco
Veröffentlicht in: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 2024
Herausgeber: Association for Computational Linguistics

Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

Autoren: Richard Antonello, Emily Cheng
Veröffentlicht in: Proceedings of UniReps@NeurIPS 2024, 2024
Herausgeber: OpenReview/Online

Prediction Hubs are Context-Informed Frequent Tokens in LLMs

Autoren: Beatrix Miranda Ginn Nielsen, Iuri Macocco, Marco Baroni
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025, Seite(n) 23715-23745
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2025.acl-long.1156

Unnatural language processing: How do language models handle machine-generated prompts?

Autoren: Kervadec, Corentin; Franzon, Francesca; Baroni, Marco
Veröffentlicht in: Findings of EMNLP, 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.findings-emnlp.959

From Tools to Teammates: Evaluating LLMs in Multi-Session Coding Interactions

Autoren: Nathanaël Carraz Rakotonirina, Mohammed Hamdy, Jon Ander Campos, Lucas Weber, Alberto Testoni, Marzieh Fadaee, Sandro Pezzelle, Marco Del Tredici
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025, Seite(n) 19609-19642
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2025.acl-long.964

Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning

Autoren: Nathanaël Carraz Rakotonirina, Ren Pang, Neha Anna John, Michael Bohlke-Schneider, Momchil Hardalov
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2026, 2026, Seite(n) 12798-12810
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2026.findings-acl.622

Can discrete information extraction prompts generalize across language models?

Autoren: N. Rakotonirina, R. Dessì, F. Petroni, S. Riedel, M. Baroni
Veröffentlicht in: Proceedings of ICLR 2023 (International Conference on Learning Representations), 2023
Herausgeber: ICLR

Emergence of a high-dimensional abstraction phase in language transformers

Autoren: Emily Cheng, Diego Doimo, Corentin Kervadec, Iuri Macocco, Jade Yu, Alessandro Laio and Marco Baroni
Veröffentlicht in: Proceedings of ICLR 2025, 2025
Herausgeber: ICLR

Peer reviewed articles (2)

LiSeCo: Linear Semantic Control for Language Generation

Autoren: Emily Cheng, Carmen Amo Alonso
Veröffentlicht in: Transactions of Machine Learning Research, 2026, ISSN 2835-8856
Herausgeber: Journal of Machine Learning Research Inc

Referential communication in heterogeneous communities of pre-trained visual deep networks

Autoren: Mateo Mahaut, Francesca Franzon, Roberto Dessi, Marco Baroni
Veröffentlicht in: Transactions on Machine Learning Research, 2025, ISSN 2835-8856
Herausgeber: Journal of Machine Learning Research Inc