Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

Implicit Multimodal Cues and Adaptive Feedback for InTelligent Wearable Assistants on Augmented Reality Smart Glasses

Projektbeschreibung

Natürliche Interaktion für intelligente tragbare Geräte

Intelligente tragbare Geräte (Intelligent Wearables, IWAs) wie beispielsweise smarte Brillen können die Nutzung durch eine natürliche und adaptive Interaktion unterstützen. Mit Unterstützung durch das Marie-Skłodowska-Curie-Maßnahmenprogramm soll Projekt IMPACT-IWA Interaktionssysteme entwickeln, die implizite multimodale Signale wie Blick und Gestik nutzen sowie adaptive Schnittstellen verwenden, die auf den kognitiven und emotionalen Zuständen der Nutzerschaft basieren. Durch die Kombination von Mensch-Computer-Interaktion und erweiterter Realität mit maschinellem Lernen und KI wird das Projekt Lösungen in realistischen Umgebungen erproben. Zu den erwarteten Ergebnissen zählen nicht nur neue theoretische Erkenntnisse, sondern auch validierte multimodale Prototypen und ein Toolkit für die Entwicklung zukünftiger IWAs. Letztlich könnte das Projekt einen bedeutenden Schritt hin zu einer koadaptiven Interaktion mit fortschrittlichen KI-gestützten Geräten darstellen.

Ziel

Augmented Reality (AR) smart glasses are rapidly moving from prototypes to mainstream personal assistants, with forecasts predicting 13.8 million devices in use by 2030. Their hands-free, semi-transparent displays allow digital content to blend seamlessly with the physical world. Coupled with Artificial Intelligence (AI) and Machine Learning (ML), they evolve into Intelligent Wearable Assistants (IWAs) that reduce errors, lower cognitive workload, and provide scalable expert-level support across everyday activities.

Yet today's IWAs are constrained by outdated interaction techniques. They rely mainly on speech-based dialogues adapted from desktop and mobile computing, neglecting natural modalities such as gaze and gesture. While some interfaces adapt to context, they rarely consider users’ cognitive or emotional states—limiting personalization and effectiveness.

This project, IMPACT-IWA (Implicit Multimodal Cues and Adaptive Feedback for InTelligent Wearable Assistants), will transform IWA interactions through three objectives:
1) harness implicit multimodal cues (e.g. gaze, gestures) for fluid interaction in dynamic contexts;
2) design adaptive user interfaces that respond in real time to cognitive and affective states;
3) validate these solutions through real-world mobile deployments.

Expected outcomes include a new theoretical framework, validated multimodal prototypes, and an open-source development toolkit to accelerate future IWA applications. These contributions will enable end-users to interact with AR systems in more natural, co-adaptive ways, while empowering researchers and developers with reusable methods and tools.

By integrating Human–Computer Interaction, AR, and AI/ML, IMPACT-IWA will establish the foundations for the next generation of intelligent, user-centered wearable computing—empowering people to seamlessly work, learn, play, and live without device interaction barriers.

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) HORIZON-MSCA-2025-PF

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
Netto-EU-Beitrag
€ 242 260,56
Adresse
DOMAINE DE VOLUCEAU ROCQUENCOURT
78153 Le Chesnay Cedex
Frankreich
Region
Ile-de-France Ile-de-France Yvelines
Aktivitätstyp
Research Organisations
Links
Gesamtkosten
Keine Daten