Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Language Augmentation for Humanverse

Description du projet

Systèmes de réalité augmentée linguistique de nouvelle génération

Le projet LUMINOUS, financé par l’UE, vise à transformer la réalité étendue en utilisant le langage naturel et des modèles linguistiques multimodaux à grande échelle afin de créer des expériences utilisateur plus intuitives, personnalisées et adaptatives. Les utilisateurs pourront interagir de manière fluide avec leur environnement, en accédant instantanément à des connaissances globales et spécifiques à un domaine pour mener à bien leurs tâches. Accompagnées d’aides visuelles et d’étapes de procédure, ces tâches seront communiquées par le biais d’une interface vocale ou d’un avatar adaptatif, dont le style de langage, les expressions faciales et l’attitude contribueront à une communication généralisée et consciente de la situation. Enfin, trois prototypes thématiques de systèmes de réalité augmentée linguistique seront présentés et testés dans le cadre de la neuroréhabilitation des personnes ayant subi un AVC et souffrant de troubles du langage, de formations immersives à la sécurité industrielle et de la conception architecturale en 3D.

Objectif

LUMINOUS aims at the creation of the next generation of Language Augmented XR systems, where natural language-based communication and Multimodal Large Language Models (MLLM) enable adaptation to individual, not predefined user needs and unseen environments. This will enable future XR users to interact fluently with their environment, while having instant access to constantly updated global as well as domain- specific knowledge sources to accomplish novel tasks. We aim to exploit MLLMs injected with domain specific knowledge for describing novel tasks on user demand. These are then communicated through a speech interface and/or a task adaptable avatar (e.g. coach/teacher) in terms of different visual aids and procedural steps for the accomplishment of the task. Language driven specification of the style, facial expressions, and specific attitudes of virtual avatars will facilitate generalisable and situation-aware communication in multiple use cases and different sectors. LLMs will benefit in parallel in identifying new objects that were not part of their training data and then describing them in a way that they become visually recognizable. Our results will be prototyped and tested in three pilots, focussing on neurorehabilitation (support of stroke patients with language impairments), immersive industrial safety training, and 3D architectural design review. A consortium of six leading R&D institutes experts in six different disciplines (AI, Augmented Vision, NLP, Computer Graphics, Neurorehabilitation, Ethics) will follow a challenging workplan, aiming to bring about a new era at the crossroads of two of the most promising current technological developments (LLM/AI and XR), made in Europe.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-RIA - HORIZON Research and Innovation Actions

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-CL4-2023-HUMAN-01-CNECT

Voir tous les projets financés au titre de cet appel

Coordinateur

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH
Contribution nette de l'UE
€ 1 455 728,75
Adresse
TRIPPSTADTER STRASSE 122
67663 Kaiserslautern
Allemagne
Région
Rheinland-Pfalz Rheinhessen-Pfalz Kaiserslautern, Kreisfreie Stadt
Type d’activité
Research Organisations
Liens
Coût total
€ 1 455 728,75

Participants (8)

Partenaires (4)