Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

Unified Transcription and Translation for Extended Reality

Projektbeschreibung

Übersetzungen und Dolmetschleistungen in andere Sprachen umwandeln

Sprachmodelle werden eingesetzt, um Technologien des maschinellen Lernens zur Vorhersage des nächsten Wortes oder Zeichens in einem Dokument zu erstellen. Die Forschenden des EU-finanzierten Projekts UTTER werden große Sprachmodelle verwenden, um die nächste Generation multimodaler Technologien der erweiterten Realität für Transkription, Übersetzung, Zusammenfassung und Protokollierung zu entwickeln. Die Technologien werden optimiert, wodurch die Modelle skalierbar, anpassungsfähig, kontextabhängig, robust, erklärbar und emotionsbewusst sind. Darüber hinaus werden sich die Anwendungsfall-Prototypen im Projekt auf einen persönlichen Assistenten für Besprechungen konzentrieren, der die Kommunikation in der Online-Welt verbessern kann, sowie auf einen fortschrittlichen Kundendienst-Assistenten zur Unterstützung globaler Märkte.

Ziel

The aim of UTTER is to leverage large language models to build the next generation of multimodal eXtended reality (XR) technologies for transcription, translation, summarisation, and minuting. We will make these technologies scalable, adaptable, contextualised, robust, explainable, and emotion-aware. We will increase the context-sensitivity of the technologies, so they can take into account the full history of the conversation, as well as its wider context. We will introduce confidence-aware models, which can take into account their own limitations. We will develop explainable models, so the human user can know why the model made the decisions it did. We will improve adaptation, so that domain-specific and language-specific models can be quickly rolled out. For these advances we will make use of pre-trained eXtended reality (XR) models, which optimally combine text and speech signals, and are trained efficiently with adapters and prompting. We will also develop efficient methods to deploy such large and complex models, so that they can put into production in an energy-efficient manner. Our use-case prototypes will cover (i) A personal assistant for meetings that can improve communication in the online world and (ii) an advanced customer service assistant to support global markets. These prototypes will be developed and tested throughout the project, with annual releases and evaluations. Through our cascaded grant programme, and our release of tools to facilitate the use of pre-trained XR models, will enable the take-up and development of these technologies throughout Europe.

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-RIA - HORIZON Research and Innovation Actions

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) HORIZON-CL4-2021-HUMAN-01

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

UNIVERSITEIT VAN AMSTERDAM
Netto-EU-Beitrag
€ 1 998 946,89
Gesamtkosten
€ 2 003 416,00

Beteiligte (3)

Partner (1)