Skip to main content
European Commission logo print header

Embodied Social Experiences in Hybrid Shared Spaces

Projektbeschreibung

Soziale Interaktion in gemeinsam genutzten hybriden Räumen bereichern

Die Extended Reality (XR) ist eine aufkommende Technologie mit vielversprechendem Potenzial in vielen Bereichen, doch es müssen noch einige Einschränkungen überwunden werden, um das interaktive Erlebnis für die Nutzerschaft zu verbessern. Das EU-finanzierte Projekt SHARESPACE zielt darauf ab, einen neuartigen Prototyp für einen sozial interaktiven Avatar bzw. Agenten zu entwickeln, der auf menschlicher sensomotorischer Kommunikation basiert. Er wird natürliche Körperbewegungen, Gesichtsausdrücke und Handgesten erfassen, um eine Reihe von sensomotorischen Grundelementen zu erstellen: Diese werden den Entwurf einer KI-basierten Architektur für eine vollständig mobile menschliche Darstellung mit anpassbaren Eigenschaften unterstützen. SHARESPACE wird den Prototyp in drei realen Situationen gemeinsam genutzter hybrider Räume mit menschlichen und künstlichen Agenten in den Bereichen Gesundheit, Sport und Kunst validieren.

Ziel

SHARESHARESPACE will demonstrate a radically new technology for promoting ethical and social interaction in eXtended Reality (XR) Shared Hybrid Spaces (SHS), anchored in human sensorimotor communication. Our core concept is to identify and segment social sensorimotor primitives and reconstruct them in hybrid settings to build continuous, embodied, and rich human- avatar experiences. To achieve this, three interconnected science-towards-technology breakthroughs will be delivered: novel computational cognitive architectures, a unique self-calibrating body sensor network, and a fully mobile spatial Augmented Reality (AR) and virtual human rendering. We will create a library of social motion primitives and use them to design AI-based architectures of our artificial agents. SHARESPACE mobile capturing technologies combine loosely-coupled visual-inertial tracking of full body kinematic, hand pose and facial expression, incorporating novel neural encoding/decoding functionalities, together with local context-aware animations and highly realistic neural rendering. Our technology will be iteratively tested in 2 Proofs-of-principles involving human and artificial agents interacting in SHS, and 3 real-world use case scenarios in Health, Sport and Art. We will demonstrate a fully functional prototype of SHARESPACE tailored to the agents’ personalized characteristics (gender, culture, and social dispositions). SHARESPACE will support community-building and exploitation with concrete initiatives, including (i) public engagement around our research and innovation, (ii) promoting high-tech innovation and early transfer to our deep-tech companies, as premises for the consolidation of human-centric and sovereign European market areas such Industry AR and SHS, eHealth and tele-Health. Our long-term vision is to bring XR to a radically new level of presence and sociality by reconstructing sensorimotor primitives that enable ethical, trusted and inclusive modes of social interaction.

æ

Koordinator

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH
Netto-EU-Beitrag
€ 1 038 750,00
Adresse
Trippstadter strasse 122
67663 Kaiserslautern
Deutschland

Auf der Karte ansehen

Region
Rheinland-Pfalz Rheinhessen-Pfalz Kaiserslautern, Kreisfreie Stadt
Aktivitätstyp
Research Organisations
Links
Weitere Finanzmittel
€ 0,00

Beteiligte (14)

Partner (1)