Multi-modal Context Modelling for Machine Translation

Projektinformationen

MultiMT

ID Finanzhilfevereinbarung: 678017

DOI

10.3030/678017

Projekt abgeschlossen

EK-Unterschriftsdatum 10 März 2016

Startdatum 1 Juli 2016

Enddatum 31 Dezember 2021

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 1 493 771,00

EU-Beitrag

€ 1 493 771,00

Koordiniert durch

IMPERIAL COLLEGE OF SCIENCE TECHNOLOGY AND MEDICINE
United Kingdom

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Conference proceedings (37)

Phrase Localization Without Paired Training Examples

Autoren: Josiah Wang; Lucia Specia
Veröffentlicht in: ICCV, 2019
Herausgeber: IEEE
DOI: 10.1109/iccv.2019.00476

Distilling Translations with Visual Awareness

Autoren: Julia Ive; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: ACL, 2019
Herausgeber: ACL
DOI: 10.18653/v1/p19-1653

How2: A large-scale dataset for multimodal language understanding

Autoren: Sanabria, Ramon; Caglayan, Ozan; Palaskar, Shruti; Elliott, Desmond; Barrault, Loïc; Specia, Lucia; Metze, Florian
Veröffentlicht in: Visually Grounded Interaction and Language, Neurips, 2018
Herausgeber: Neurips

Findings of the Third Shared Task on Multimodal Machine Translation

Autoren: Loïc Barrault; Fethi Bougares; Lucia Specia; Chiraag Lala; Desmond Elliott; Stella Frank
Veröffentlicht in: WMT, 2018
Herausgeber: ACL
DOI: 10.18653/v1/w18-6402

Visual Cues and Error Correction for Translation Robustness

Autoren: Zhenhao Li, Marek Rei, Lucia Specia
Veröffentlicht in: EMNLP, 2021
Herausgeber: ACL
DOI: 10.18653/v1/2021.findings-emnlp.271

Probing the Need for Visual Context in Multimodal Machine Translation

Autoren: Ozan Caglayan; Pranava Madhyastha; Lucia Specia; Loïc Barrault
Veröffentlicht in: NAACL/HLT, 2019
Herausgeber: ACL
DOI: 10.18653/v1/n19-1422

Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation

Autoren: Julia Ive; Andy Mingren Li; Yishu Miao; Ozan Caglayan; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: EACL, 2021
Herausgeber: ACL
DOI: 10.18653/v1/2021.eacl-main.281

Object Counts! Bringing Explicit Detections Back into Image Captioning

Autoren: Josiah Wang; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: NAACL/HLT, 2018
Herausgeber: ACL
DOI: 10.18653/v1/n18-1198

Exploring Supervised and Unsupervised Rewards in Machine Translation

Autoren: Julia Ive; Zixu Wang; Marina Fomicheva; Lucia Specia
Veröffentlicht in: EACL, 2021
Herausgeber: ACL
DOI: 10.18653/v1/2021.eacl-main.164

End-to-end Image Captioning Exploits Multimodal Distributional Similarity

Autoren: Madhyastha, Pranava; Wang, Josiah; Specia, Lucia
Veröffentlicht in: 29th British Machine Vision Conference, 2018
Herausgeber: BVMC

Simultaneous Machine Translation with Visual Context

Autoren: Ozan Caglayan; Julia Ive; Veneta Haralampieva; Pranava Madhyastha; Loïc Barrault; Lucia Specia
Veröffentlicht in: EMNLP, 2020
Herausgeber: ACL
DOI: 10.18653/v1/2020.emnlp-main.184

Predicting Actions to Help Predict Translations

Autoren: Wu, Zixiu; Ive, Julia; Wang, Josiah; Madhyastha, Pranava; Specia, Lucia
Veröffentlicht in: Workshop The How2 Challenge: New Tasks for Vision & Language, ICML, 2019
Herausgeber: ICML

VIFIDEL: Evaluating the Visual Fidelity of Image Descriptions

Autoren: Pranava Madhyastha; Josiah Wang; Lucia Specia
Veröffentlicht in: ACL, 2019
Herausgeber: ACL
DOI: 10.18653/v1/p19-1654

MultiSubs: A Large-scale Multimodal and Multilingual Dataset

Autoren: Wang, Josiah; Madhyastha, Pranava; Figueiredo, Josiel; Lala, Chiraag; Specia, Lucia
Veröffentlicht in: LREC, 2022
Herausgeber: LREC

Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale

Autoren: Ozan Caglayan; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: COLING, 2020
Herausgeber: ACL
DOI: 10.18653/v1/2020.coling-main.210

Imperial College London Submission to VATEX Video Captioning Task

Autoren: Caglayan, Ozan; Wu, Zixiu; Madhyastha, Pranava; Wang, Josiah; Specia, Lucia
Veröffentlicht in: 3rd Workshop on Closing the Loop Between Vision and Language, ICCV 2019, 2019
Herausgeber: ICCV

BERTGen: Multi-task Generation through BERT

Autoren: Faidon Mitzalis; Ozan Caglayan; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: ACL/IJCNLP, 2021
Herausgeber: ACL
DOI: 10.18653/v1/2021.acl-long.503

Object Counts! Bringing Explicit Detections Back into Image Captioning

Autoren: Wang, Josiah; Madhyastha, Pranava; Specia, Lucia
Veröffentlicht in: Proceedings of 2018 Conference of the North American Chapter of the Association for Computational Linguistics, Ausgabe 2, 2018
Herausgeber: Computer Vision and Pattern Recognition

Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description

Autoren: Elliott, Desmond; Frank, Stella; Barrault, Loïc; Bougares, Fethi; Specia, Lucia
Veröffentlicht in: Proceedings of the Second Conference on Machine Translation, 2017, Seite(n) 215--233
Herausgeber: Association for Computational Linguistics

Defoiling Foiled Image Captions

Autoren: Madhyastha, Pranava; Wang, Josiah; Specia, Lucia
Veröffentlicht in: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), Ausgabe 1, 2018
Herausgeber: Computer Vision and Pattern Recognition

Sheffield MultiMT: Using Object Posterior Predictions for Multimodal Machine Translation

Autoren: Pranava Swaroop Madhyastha, Josiah Wang, and Lucia Specia
Veröffentlicht in: Second Conference on Machine Translation, 2017, Seite(n) 470–476
Herausgeber: Association for Computational Linguistics

Sheffield submissions for wmt18 multimodal translation shared task

Autoren: C. Lala, P. Swaroop Madhyastha, Carolina Scarton, L. Specia
Veröffentlicht in: Conference on Machine Translation, 2018
Herausgeber: Association for Computational Linguistics

How2: A Large-scale Dataset for Multimodal Language Understanding

Autoren: R. Sanabria, O. Caglayan, S. Palaskar, D. Elliott, L. Barrault, L. Specia, F. Metze
Veröffentlicht in: NeurIPS Workshop on Visually Grounded Interaction and Language (ViGIL), 2018
Herausgeber: Neurips

Probing the Tole of Images in Multimodal Machine Translation

Autoren: O. Caglayan, L. Barrault, P. Madhyastha, L. Specia
Veröffentlicht in: NAACL, 2019
Herausgeber: Association for Computational Linguistics

Findings of the Third Shared Task on Multimodal Machine Translation

Autoren: L. Barrault, F. Bougares, L. Specia, C. Lala, D. Elliott, S. Frank
Veröffentlicht in: Conference on Machine Translation, 2018
Herausgeber: Association for Computational Linguistics

Semi-supervised Adaptation of RNNLMs by Fine-tuning with Domain-specific Auxiliary Features

Autoren: Salil Deena, Raymond W. M. Ng, Pranava Madhyastha, Lucia Specia, and Thomas Hain
Veröffentlicht in: INTERSPEECH, 2017, Seite(n) 2715–2719
Herausgeber: INTERSPEECH

Multi30K: Multilingual English-German Image Descriptions

Autoren: Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia
Veröffentlicht in: 5th Workshop on Vision and Language, 2016, Seite(n) 70–74
Herausgeber: Association for Computational Linguistics

Multimodal Lexical Translation

Autoren: Chiraag Lala and Lucia Specia
Veröffentlicht in: Eleventh International Conference on Language Resources and Evaluation, 2018, Seite(n) 3810–3817
Herausgeber: ELRA

Exploring the use of acoustic embeddings in neural machine translation

Autoren: Salil Deena, Raymond Ng, Pranava Madhyastha, Lucia Specia, and Thomas Hain
Veröffentlicht in: IEEE ASRU Workshop, 2017
Herausgeber: IEEE

SHEF-Multimodal: Grounding Machine Translation on Images

Autoren: Kashif Shah, Josiah Wang and Lucia Specia
Veröffentlicht in: Conference on Machine Translation, 2016
Herausgeber: Association for Computational Linguistics

A Shared Task on Multimodal Machine Translation and Crosslingual Image Description

Autoren: Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott
Veröffentlicht in: First Conference on Machine Translation, 2016, Seite(n) 540–550
Herausgeber: Association for Computational Linguistics

Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description

Autoren: Desmond Elliott; Stella Frank; Loïc Barrault; Fethi Bougares; Lucia Specia
Veröffentlicht in: WMT, 2017
Herausgeber: ACL
DOI: 10.18653/v1/w17-4718

Transformer-based Cascaded Multimodal Speech Translation

Autoren: Wu, Zixiu; Caglayan, Ozan; Ive, Julia; Wang, Josiah; Specia, Lucia
Veröffentlicht in: 16th International Conference on Spoken Language Translation, 2019
Herausgeber: ACL
DOI: 10.5281/zenodo.3525551

Defoiling Foiled Image Captions

Autoren: Pranava Madhyastha; Josiah Wang; Lucia Specia
Veröffentlicht in: NAACL/HLT, 2018
Herausgeber: ACL
DOI: 10.18653/v1/n18-2069

Grounded Word Sense Translation

Autoren: Chiraag Lala, Pranava Madhyastha, Lucia Specia
Veröffentlicht in: 2nd Workshop on Shortcomings in Vision and Language, 2019
Herausgeber: ACL
DOI: 10.18653/v1/w19-1808

Multimodal Quality Estimation for Machine Translation

Autoren: Shu Okabe, Frédéric Blain, Lucia Specia
Veröffentlicht in: ACL, 2020
Herausgeber: ACL
DOI: 10.18653/v1/2020.acl-main.114

Cross-lingual Visual Pre-training for Multimodal Machine Translation

Autoren: Ozan Caglayan; Menekse Kuyu; Mustafa Sercan Amac; Pranava Madhyastha; Erkut Erdem; Aykut Erdem; Lucia Specia
Veröffentlicht in: EACL, 2021
Herausgeber: ACL
DOI: 10.18653/v1/2021.eacl-main.112

Peer reviewed articles (7)

MSVD-Turkish: a comprehensive multimodal video dataset for integrated vision and language research in Turkish

Autoren: Begum Citamak; Ozan Caglayan; Menekse Kuyu; Erkut Erdem; Aykut Erdem; Pranava Madhyastha; Lucia Specia
Veröffentlicht in: Machine Translation, 2021, ISSN 0922-6567
Herausgeber: Kluwer Academic Publishers
DOI: 10.1007/s10590-021-09276-y

Grounded Sequence to Sequence Transduction

Autoren: Lucia Specia, Loic Barrault, Ozan Caglayan, Amanda Duarte, Desmond Elliott, Spandana Gella, Nils Holzenberger, Chiraag Lala, Sun Jae Lee, Jindrich Libovicky, Pranava Madhyastha, Florian Metze, Karl Mulligan, Alissa Ostapenko, Shruti Palaskar, Ramon Sanabria, Josiah Wang, and Raman Arora
Veröffentlicht in: IEEE Journal of Selected Topics in Signal Processing, 2020, ISSN 1932-4553
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/jstsp.2020.2998415

Unraveling the Contribution of Image Captioning and Neural Machine Translation for Multimodal Machine Translation

Autoren: Chiraag Lala, Pranava Madhyastha, Josiah Wang, Lucia Specia
Veröffentlicht in: The Prague Bulletin of Mathematical Linguistics, Ausgabe 108/1, 2017, Seite(n) 197–208, ISSN 1804-0462
Herausgeber: De Gruyter
DOI: 10.1515/pralin-2017-0020

The role of image representations in vision to language tasks

Autoren: PRANAVA MADHYASTHA, JOSIAH WANG, LUCIA SPECIA
Veröffentlicht in: Natural Language Engineering, Ausgabe 24/03, 2018, Seite(n) 415-439, ISSN 1351-3249
Herausgeber: Cambridge University Press
DOI: 10.1017/s1351324918000116

Assessing multilingual multimodal image description: Studies of native speaker preferences and translator choices

Autoren: STELLA FRANK, DESMOND ELLIOTT, LUCIA SPECIA
Veröffentlicht in: Natural Language Engineering, Ausgabe 24/03, 2018, Seite(n) 393-413, ISSN 1351-3249
Herausgeber: Cambridge University Press
DOI: 10.1017/s1351324918000074

Read, spot and translate

Autoren: Lucia Specia; Josiah Wang; Sun Jae Lee; Alissa Ostapenko; Pranava Madhyastha
Veröffentlicht in: Machine Translation, 2021, ISSN 0922-6567
Herausgeber: Kluwer Academic Publishers
DOI: 10.1007/s10590-021-09259-z

Multimodal machine translation through visuals and speech

Autoren: Umut Sulubacak; Ozan Caglayan; Stig-Arne Grönroos; Aku Rouhe; Desmond Elliott; Lucia Specia; Jörg Tiedemann
Veröffentlicht in: Machine Translation, 2020, ISSN 0922-6567
Herausgeber: Kluwer Academic Publishers
DOI: 10.5281/zenodo.3690790