Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Unified Transcription and Translation for Extended Reality

Opis projektu

Zmiany w świecie tłumaczeń ustnych i pisemnych

Modele językowe służą do budowania technologii uczenia maszynowego pozwalających na przewidywanie kolejnych słów lub znaków w dokumentach. Zespół badaczy skupionych wokół finansowanego ze środków Unii Europejskiej projektu UTTER wykorzystają duże modele językowe do budowy kolejnej generacji multimodalnych technologii rozszerzonej rzeczywistości przeznaczonych do transkrypcji, tłumaczenia, streszczania i protokołowania. Technologie zostaną zoptymalizowane, dzięki czemu modele będą skalowalne, adaptowalne, kontekstowe, solidne, wytłumaczalne i świadome emocji. Wśród prototypowych rozwiązań wykorzystujących nowe algorytmy opracowanych w ramach projektu można wymienić osobistego asystenta, który pozwoli na usprawnianie komunikacji w świecie online oraz asystenta obsługi klienta powstałego z myślą o wsparciu rynków globalnych.

Cel

The aim of UTTER is to leverage large language models to build the next generation of multimodal eXtended reality (XR) technologies for transcription, translation, summarisation, and minuting. We will make these technologies scalable, adaptable, contextualised, robust, explainable, and emotion-aware. We will increase the context-sensitivity of the technologies, so they can take into account the full history of the conversation, as well as its wider context. We will introduce confidence-aware models, which can take into account their own limitations. We will develop explainable models, so the human user can know why the model made the decisions it did. We will improve adaptation, so that domain-specific and language-specific models can be quickly rolled out. For these advances we will make use of pre-trained eXtended reality (XR) models, which optimally combine text and speech signals, and are trained efficiently with adapters and prompting. We will also develop efficient methods to deploy such large and complex models, so that they can put into production in an energy-efficient manner. Our use-case prototypes will cover (i) A personal assistant for meetings that can improve communication in the online world and (ii) an advanced customer service assistant to support global markets. These prototypes will be developed and tested throughout the project, with annual releases and evaluations. Through our cascaded grant programme, and our release of tools to facilitate the use of pre-trained XR models, will enable the take-up and development of these technologies throughout Europe.

Dziedzina nauki (EuroSciVoc)

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-RIA - HORIZON Research and Innovation Actions

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) HORIZON-CL4-2021-HUMAN-01

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Koordynator

UNIVERSITEIT VAN AMSTERDAM
Wkład UE netto
€ 1 998 946,89
Koszt całkowity
€ 2 003 416,00

Uczestnicy (3)

Partnerzy (1)