Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Unified Transcription and Translation for Extended Reality

Description du projet

Transformer la traduction et l’interprétation

Les modèles linguistiques permettent de développer des technologies d’apprentissage automatique visant à prédire le prochain mot ou caractère d’un document. Les chercheurs du projet UTTER, financé par l’UE, utiliseront de grands modèles linguistiques pour mettre au point la prochaine génération de technologies multimodales de réalité étendue destinées à la transcription, à la traduction, à la synthèse et au minutage. Les technologies seront optimisées de manière à rendre les modèles évolutifs, adaptables, contextualisés, robustes, explicables et sensibles aux émotions. En outre, les prototypes de cas d’utilisation mis au point dans le cadre du projet se déclineront sous la forme d’un assistant personnel pour les réunions qui permet d’améliorer la communication dans le monde en ligne et d’un assistant de service client avancé visant à soutenir les marchés mondiaux.

Objectif

The aim of UTTER is to leverage large language models to build the next generation of multimodal eXtended reality (XR) technologies for transcription, translation, summarisation, and minuting. We will make these technologies scalable, adaptable, contextualised, robust, explainable, and emotion-aware. We will increase the context-sensitivity of the technologies, so they can take into account the full history of the conversation, as well as its wider context. We will introduce confidence-aware models, which can take into account their own limitations. We will develop explainable models, so the human user can know why the model made the decisions it did. We will improve adaptation, so that domain-specific and language-specific models can be quickly rolled out. For these advances we will make use of pre-trained eXtended reality (XR) models, which optimally combine text and speech signals, and are trained efficiently with adapters and prompting. We will also develop efficient methods to deploy such large and complex models, so that they can put into production in an energy-efficient manner. Our use-case prototypes will cover (i) A personal assistant for meetings that can improve communication in the online world and (ii) an advanced customer service assistant to support global markets. These prototypes will be developed and tested throughout the project, with annual releases and evaluations. Through our cascaded grant programme, and our release of tools to facilitate the use of pre-trained XR models, will enable the take-up and development of these technologies throughout Europe.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-RIA - HORIZON Research and Innovation Actions

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-CL4-2021-HUMAN-01

Voir tous les projets financés au titre de cet appel

Coordinateur

UNIVERSITEIT VAN AMSTERDAM
Contribution nette de l'UE
€ 1 998 946,89
Coût total
€ 2 003 416,00

Participants (3)

Partenaires (1)