IMAGINE – Informing Multi-modal lAnguage Generation wIth world kNowledgE

Projektinformationen

IMAGINE

ID Finanzhilfevereinbarung: 838188

DOI 10.3030/838188

Projekt abgeschlossen

EK-Unterschriftsdatum 27 März 2019

Startdatum 14 Juni 2019

Enddatum 23 April 2022

Finanziert unter

• EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions

Gesamtkosten € 232 393,92

EU-Beitrag € 232 393,92

Koordiniert durch

UNIVERSITEIT VAN AMSTERDAM
Netherlands

Veröffentlichungen

Conference proceedings (8)

Multi3Generation: Multi-task, Multilingual, Multi-Modal Language Generation.

Autoren: Anabela Barreiro, José C. de Souza, Albert Gatt, Mehul Bhatt, Elena Lloret, Aykut Erdem, Dimitra Gkatzia, Helena Moniz, Irene Russo, Fabio Kepler, Iacer Calixto, Marcin Paprzycki, François Portet, Isabelle Augenstein, Mirela Alhasani
Veröffentlicht in: Proceedings of the 23rd Annual Conference of the European Association for Machine Translation, Ausgabe 1-3 June, 2022, Seite(n) 347-348
Herausgeber: European Association for Machine Translation

Latent Variable Model for Multi-modal Translation

Autoren: Iacer Calixto, Miguel Rios, Wilker Aziz
Veröffentlicht in: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Ausgabe July 2019, 2019, Seite(n) 6392–6405
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/p19-1642

Can Wikipedia Categories Improve Masked Language Model Pretraining?

Autoren: Diksha Meghwal, Katharina Kann, Iacer Calixto, Stanislaw Jastrzebski
Veröffentlicht in: Proceedings of the The Fourth Widening Natural Language Processing Workshop, 2020, Seite(n) 78-78
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2020.winlp-1.19

VisualSem: a high-quality knowledge graph for vision and language

Autoren: Alberts, Houda; Huang, Teresa; Deshpande, Yash; Liu, Yibo; Cho, Kyunghyun; Vania, Clara; Calixto, Iacer
Veröffentlicht in: Proceedings of the 1st Workshop on Multilingual Representation Learning, 2021, Seite(n) 138–152
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2021.mrl-1.13

Are Scene Graphs Good Enough to Improve Image Captioning?

Autoren: Victor Siemen Janusz Milewski, Marie-Francine Moens, Iacer Calixto
Veröffentlicht in: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, Ausgabe Dec.2020, 2020, Seite(n) 504–515
Herausgeber: Association for Computational Linguistics

Seeing past words: Testing the cross-modal capabilities of pretrained V&L models on counting tasks

Autoren: Letitia Parcalabescu, Albert Gatt, Anette Frank and Iacer Calixto
Veröffentlicht in: Proceedings of the 1st Workshop on Multimodal Semantic Representations (MMSR), 2021
Herausgeber: Association for Computational Linguistics

English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too

Autoren: Jason Phang, Iacer Calixto, Phu Mon Htut, Yada Pruksachatkun, Haokun Liu, Clara Vania, Katharina Kann, Samuel R. Bowman
Veröffentlicht in: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, Ausgabe Dec.2020, 2020, Seite(n) 557–575
Herausgeber: Association for Computational Linguistics

VALSE: A Task-Independent Benchmark for Vision and Language Models Centered on Linguistic Phenomena

Autoren: Letitia Parcalabescu, Michele Cafagna, Lilitta Muradjan, Anette Frank, Iacer Calixto, Albert Gatt.
Veröffentlicht in: Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, 2022
Herausgeber: Association for Computational Linguistics

Other (1)

Endowing Language Models with Multimodal Knowledge Graph Representations

Autoren: Ningyuan (Teresa) Huang,Yash R. Deshpande,Yibo Liu,Houda Alberts,Kyunghyun Cho,Clara Vania,Iacer Calixto
Veröffentlicht in: Arxiv, Ausgabe 27/06/2022, 2022
Herausgeber: Arxiv