Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

Language Augmentation for Humanverse

Projektbeschreibung

Nächste Generation der Systeme der erweiterten Realität mit Sprachfunktion

Das Ziel des EU-finanzierten Projekts LUMINOUS besteht darin, die erweiterte Realität umzugestalten, indem natürliche Sprache und multimodale Sprachmodelle zum Einsatz kommen, um intuitivere, personalisierte und adaptive Nutzungserfahrungen zu schaffen. Die Nutzerinnen und Nutzer werden in der Lage sein, fließend mit ihrer Umgebung zu interagieren, und sofortigen Zugriff auf globales und bereichsspezifisches Wissen erhalten, um Aufgaben zu erledigen. Begleitet von visuellen Hilfsmitteln und Verfahrensschritten werden diese Aufgaben über eine Sprachschnittstelle oder einen adaptiven Avatar vermittelt, dessen Sprachstil, Mimik und Haltung eine generalisierte und situationsgerechte Kommunikation unterstützen. Zu guter Letzt werden drei thematische Prototypen der Systeme der erweiterten Realität mit Sprachfunktion in Verbindung mit Neurorehabilitation für sprachbehinderte Schlaganfallüberlebende, immersivem Arbeitssicherheitstraining und 3D-Architekturdesign demonstriert und erprobt.

Ziel

LUMINOUS aims at the creation of the next generation of Language Augmented XR systems, where natural language-based communication and Multimodal Large Language Models (MLLM) enable adaptation to individual, not predefined user needs and unseen environments. This will enable future XR users to interact fluently with their environment, while having instant access to constantly updated global as well as domain- specific knowledge sources to accomplish novel tasks. We aim to exploit MLLMs injected with domain specific knowledge for describing novel tasks on user demand. These are then communicated through a speech interface and/or a task adaptable avatar (e.g. coach/teacher) in terms of different visual aids and procedural steps for the accomplishment of the task. Language driven specification of the style, facial expressions, and specific attitudes of virtual avatars will facilitate generalisable and situation-aware communication in multiple use cases and different sectors. LLMs will benefit in parallel in identifying new objects that were not part of their training data and then describing them in a way that they become visually recognizable. Our results will be prototyped and tested in three pilots, focussing on neurorehabilitation (support of stroke patients with language impairments), immersive industrial safety training, and 3D architectural design review. A consortium of six leading R&D institutes experts in six different disciplines (AI, Augmented Vision, NLP, Computer Graphics, Neurorehabilitation, Ethics) will follow a challenging workplan, aiming to bring about a new era at the crossroads of two of the most promising current technological developments (LLM/AI and XR), made in Europe.

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-RIA - HORIZON Research and Innovation Actions

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) HORIZON-CL4-2023-HUMAN-01-CNECT

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH
Netto-EU-Beitrag
€ 1 455 728,75
Adresse
TRIPPSTADTER STRASSE 122
67663 Kaiserslautern
Deutschland
Region
Rheinland-Pfalz Rheinhessen-Pfalz Kaiserslautern, Kreisfreie Stadt
Aktivitätstyp
Research Organisations
Links
Gesamtkosten
€ 1 455 728,75

Beteiligte (8)

Partner (4)