Voice driven interaction in XR spaces

Projektinformationen

VOXReality

ID Finanzhilfevereinbarung: 101070521

DOI

10.3030/101070521

Projekt abgeschlossen

EK-Unterschriftsdatum 11 Juni 2022

Startdatum 1 Oktober 2022

Enddatum 31 Dezember 2025

Finanziert unter

• Digital, Industry and Space

Gesamtkosten

€ 4 786 875,00

EU-Beitrag

€ 4 786 875,00

Koordiniert durch

MAGGIOLI SPA
Italy

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Documents, reports (6)

Dissemination and communication plan

This report will outline communication and dissemination channels to be used and identify relevant events and publications.

Development infrastructure and integration guidelines

Analysis of the integration and validation requirements

Model deployment analysis V1

This deliverable will analyse the progress and results on VOXReality models deployment, training and XR applications.

Definition and Analysis of VOXReality Use Cases V1

Detailed analysis of use cases, technical and user requirements for each case of the project.

Advanced AI multi-modal for XR analysis V1

This deliverable will analyse the progress and results on VOXReality Audio processing, VOXReality Multilingual translation, Vision and language based XR models and Context aware generative dialogue system.

Open call documents collection V1

This deliverable will contain all the needed information and necessary documents for the applicants to submit applications to the Open Call.

Veröffentlichungen

Peer reviewed articles (2)

Intent-calibrated Self-training for Answer Selection in Open-domain Dialogues

Autoren: Wentao Deng, Jiahuan Pei, Zhaochun Ren, Zhumin Chen, Pengjie Ren
Veröffentlicht in: Transactions of the Association for Computational Linguistics, Ausgabe 11, 2023, ISSN 2307-387X
Herausgeber: MIT Press
DOI: 10.1162/TACL_A_00599

SADAMB: Advancing Spatially-Aware Vision-Language Modeling Through Datasets, Metrics, and Benchmarks

Autoren: Giorgos Papadopoulos, Petros Drakoulis, Athanasios Ntovas, Alexandros Doumanoglou, Dimitris Zarpalas
Veröffentlicht in: Computers, Ausgabe 14, 2025, ISSN 2073-431X
Herausgeber: MDPI AG
DOI: 10.3390/COMPUTERS14100413

Conference proceedings (10)

VOXReality: Immersive XR experiences

Autoren: Maniatis, A., Bourou, S., Anastasakis, Z., Psychogios, K.
Veröffentlicht in: IHIET-AI 2023, Ausgabe 70, 2023
Herausgeber: AHFE (2023) International Conference. AHFE Open Access

Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models

Autoren: Paweł Mąka, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis
Veröffentlicht in: Proceedings of the 31st International Conference on Computational Linguistics, 2025
Herausgeber: Association for Computational Linguistics

Enhancing the Audience Experience for VR and AR Theatre with AI-generated Subtitles

Autoren: Irene Viola, Moonisa Ahsan, Olga Chatzifoti, Atanas Yonkov, Eleni Oikonomou, Ioannis Radin, Paweł Mąka, Abderrahmane Issam, Pablo Cesar
Veröffentlicht in: Proceedings of the 2025 31st ACM Symposium on Virtual Reality Software and Technology, 2025
Herausgeber: ACM
DOI: 10.1145/3756884.3766057

You Are What You Train: Effects of Data Composition on Training Context-aware Machine Translation Models

Autoren: Pawel Maka, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1394

Sequence Shortening for Context-Aware Machine Translation

Autoren: Mąka, P., Semerci, Y. C., Scholtes, J., & Spanakis, G.
Veröffentlicht in: Findings of the Association for Computational Linguistics: EACL 2024, 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/ARXIV.2402.01416

VRD: A multi-lingual translation and Ai-Assisted Navigation experience for VR Conference Application

Autoren: Moonisa Ahsan, Irene Viola, Manuel Toledo, Dimitris Kontopoulos, Pablo Cesar
Veröffentlicht in: Proceedings of the 2025 31st ACM Symposium on Virtual Reality Software and Technology, 2025
Herausgeber: ACM
DOI: 10.1145/3756884.3768418

Autonomous Workflow for Multimodal Fine-Grained Training Assistants Towards Mixed Reality

Autoren: Jiahuan Pei, Irene Viola, Haochen Huang, Junxiao Wang, Moonisa Ahsan, Fanghua Ye, Jiang Yiming, Yao Sai, Di Wang, Zhumin Chen, Pengjie Ren, Pablo Cesar
Veröffentlicht in: 62nd Annual Meeting of the Association for Computational Linguistics, 2024
Herausgeber: ACL 2024
DOI: 10.48550/ARXIV.2405.13034

Fixed and Adaptive Simultaneous Machine Translation Strategies Using Adapters

Autoren: Abderrahmane Issam, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis
Veröffentlicht in: Proceedings of the 21st International Conference on Spoken Language Translation (IWSLT 2024), 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2024.IWSLT-1.36

DTW-Align: Bridging the Modality Gap in End-to-End Speech Translation with Dynamic Time Warping Alignment

Autoren: Abderrahmane Issam, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis
Veröffentlicht in: Proceedings of the Tenth Conference on Machine Translation, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.WMT-1.11

A Representation Level Analysis of NMT Model Robustness to Grammatical Errors

Autoren: Abderrahmane Issam, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-ACL.451

Book chapters (1)

Using Augmented Reality and Machine Learning for Captioning in Theatrical Experiences

Autoren: Olga Chatzifoti, Nick Achilleopoulos, Spiros Borotis, Moonisa Ahsan, and Eleni Oikonomou
Veröffentlicht in: EuroXR 2024: Proceedings of the 21st EuroXR International Conference, Ausgabe 322, 2024, ISSN 2242-1211
Herausgeber: VTT Technical Research Centre of Finland
DOI: 10.32040/2242-122X.2024.T432