Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Language Augmentation for Humanverse

Opis projektu

Językowe systemy rozszerzonej rzeczywistości nowej generacji

Finansowany ze środków UE projekt LUMINOUS ma na celu przekształcenie rozszerzonej rzeczywistości poprzez wykorzystanie modeli języka naturalnego i multimodalnych dużych modeli językowych w celu stworzenia bardziej intuicyjnych, spersonalizowanych i adaptacyjnych doświadczeń użytkownika. Użytkownicy będą mogli płynnie wchodzić w interakcje ze swoim środowiskiem, zyskując natychmiastowy dostęp do wiedzy globalnej i specyficznej dla dziedziny w celu wykonywania zadań. Wraz z pomocami wizualnymi i krokami proceduralnymi, zadania te będą przekazywane za pośrednictwem interfejsu mowy lub adaptacyjnego awatara, którego styl językowy, mimika i postawa pomogą w komunikacji uogólnionej i z orientacją sytuacyjną. Wreszcie trzy prototypy tematyczne systemów rozszerzonej rzeczywistości językowej zostaną zademonstrowane i przetestowane w scenariuszach obejmujących neurorehabilitację osób po udarze mózgu z zaburzeniami mowy, immersyjne szkolenie w zakresie bezpieczeństwa przemysłowego i projektowanie architektoniczne 3D.

Cel

LUMINOUS aims at the creation of the next generation of Language Augmented XR systems, where natural language-based communication and Multimodal Large Language Models (MLLM) enable adaptation to individual, not predefined user needs and unseen environments. This will enable future XR users to interact fluently with their environment, while having instant access to constantly updated global as well as domain- specific knowledge sources to accomplish novel tasks. We aim to exploit MLLMs injected with domain specific knowledge for describing novel tasks on user demand. These are then communicated through a speech interface and/or a task adaptable avatar (e.g. coach/teacher) in terms of different visual aids and procedural steps for the accomplishment of the task. Language driven specification of the style, facial expressions, and specific attitudes of virtual avatars will facilitate generalisable and situation-aware communication in multiple use cases and different sectors. LLMs will benefit in parallel in identifying new objects that were not part of their training data and then describing them in a way that they become visually recognizable. Our results will be prototyped and tested in three pilots, focussing on neurorehabilitation (support of stroke patients with language impairments), immersive industrial safety training, and 3D architectural design review. A consortium of six leading R&D institutes experts in six different disciplines (AI, Augmented Vision, NLP, Computer Graphics, Neurorehabilitation, Ethics) will follow a challenging workplan, aiming to bring about a new era at the crossroads of two of the most promising current technological developments (LLM/AI and XR), made in Europe.

Dziedzina nauki (EuroSciVoc)

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-RIA - HORIZON Research and Innovation Actions

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) HORIZON-CL4-2023-HUMAN-01-CNECT

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Koordynator

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH
Wkład UE netto
€ 1 455 728,75
Adres
TRIPPSTADTER STRASSE 122
67663 Kaiserslautern
Niemcy
Region
Rheinland-Pfalz Rheinhessen-Pfalz Kaiserslautern, Kreisfreie Stadt
Rodzaj działalności
Research Organisations
Linki
Koszt całkowity
€ 1 455 728,75

Uczestnicy (8)

Partnerzy (4)