Skip to main content
European Commission logo print header

Multi-modal Context Modelling for Machine Translation

Descrizione del progetto

Una nuova era nella traduzione automatica

Nel campo dell’elaborazione del linguaggio naturale si persegue da lungo tempo l’obiettivo di tradurre automaticamente il linguaggio umano. Tuttavia, gli approcci attuali esistenti, come la traduzione automatica statistica (SMT, Statistical Machine Translation), spesso trascurano indizi contestuali di fondamentale importanza, che invece vengono presi in considerazione nelle traduzioni umane. Ciò determina traduzioni che spesso risultano prive di informazioni rilevanti o trasmettono significati errati, ostacolando la comprensione della lettura e comportandone in numerosi casi l’inutilizzabilità. Alla luce di queste premesse, il progetto MultiMT, finanziato dal CER, sta adottando un approccio innovativo basato sull’impiego di informazioni multimodali globali. MultiMT svilupperà metodi volti a incorporare indizi contestuali quali immagini, documenti correlati e metadati nei modelli di traduzione avvalendosi di post pubblicati su Twitter e di recensioni di prodotti come insiemi di dati di prova. Questa iniziativa interdisciplinare combina competenze in svariati ambiti, quali elaborazione del linguaggio naturale, visione artificiale e apprendimento automatico.

Obiettivo

Automatically translating human language has been a long sought-after goal in the field of Natural Language Processing (NLP). Machine Translation (MT) can significantly lower communication barriers, with enormous potential for positive social and economic impact. The dominant paradigm is Statistical Machine Translation (SMT), which learns to translate from human-translated examples.

Human translators have access to a number of contextual cues beyond the actual segment to translate when performing translation, for example images associated with the text and related documents. SMT systems, however, completely disregard any form of non-textual context and make little or no reference to wider surrounding textual content. This results in translations that miss relevant information or convey incorrect meaning. Such issues drastically affect reading comprehension and may make translations useless. This is especially critical for user-generated content such as social media posts -- which are often short and contain non-standard language -- but applies to a wide range of text types.

The novel and ambitious idea in this proposal is to devise methods and algorithms to exploit global multi-modal information for context modelling in SMT. This will require a significantly disruptive approach with new ways to acquire multilingual multi-modal representations, and new machine learning and inference algorithms that can process rich context models. The focus will be on three context types: global textual content from the document and related texts, visual cues from images and metadata including topic, date, author, source. As test beds, two challenging user-generated datasets will be used: Twitter posts and product reviews.

This highly interdisciplinary research proposal draws expertise from NLP, Computer Vision and Machine Learning and claims that appropriate modelling of multi-modal context is key to achieve a new breakthrough in SMT, regardless of language pair and text type.

Meccanismo di finanziamento

ERC-STG - Starting Grant

Istituzione ospitante

IMPERIAL COLLEGE OF SCIENCE TECHNOLOGY AND MEDICINE
Contribution nette de l'UE
€ 1 010 513,67
Indirizzo
SOUTH KENSINGTON CAMPUS EXHIBITION ROAD
SW7 2AZ LONDON
Regno Unito

Mostra sulla mappa

Regione
London Inner London — West Westminster
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
€ 1 010 513,67

Beneficiari (2)