XR mEdia eCOsystem

Projektinformationen

XReco

ID Finanzhilfevereinbarung: 101070250

DOI

10.3030/101070250

Projekt abgeschlossen

EK-Unterschriftsdatum 20 Juni 2022

Startdatum 1 September 2022

Enddatum 31 Oktober 2025

Finanziert unter

• Digital, Industry and Space

Gesamtkosten

€ 10 356 484,48

EU-Beitrag

€ 8 331 200,00

Koordiniert durch

DEUTSCHE WELLE
Germany

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Documents, reports (4)

Dissemination, communication, and exploitation report v1

This deliverable updates the dissemination, communication & exploitation plan and reports its first results aiming to maximize the outreach of the results generated in the XRECO project.

XR and Media Transformation Services, API and Authoring Tools v1

D4.1 provides the first version of the vertical technologies implemented in WP4, focused on XR and Media transformation services, together with the first version of the APIs needed to integrate the vertical technology and of the authoring tool for the creation of novel media content.

Data sharing infrastructure, neural content description, rights management and monetisation v1

This report provides the first version of neural cross-modal descriptors, and technology for extraction, matching and indexing, as well as a basic setup of the data sharing infrastructure, including data model definition. This deliverable also provides the concept of the rights management and licensing framework, and an initial version of licensing components.

Dissemination, communication, and exploitation plan

This deliverable describes the dissemination, communication & exploitation plan aiming to maximize the outreach of the results generated in the XRECO project.

Veröffentlichungen

Conference proceedings (29)

Synthetic Football Sprite Animations Learned Across the Pitch.

Autoren: Ionascu, A., Stefaniga, S., Gaianu, M.
Veröffentlicht in: 2023
Herausgeber: Springer
DOI: 10.1007/978-3-031-41774-0_48

Exploring Image Search on Quantum Computing Systems

Autoren: Hermann Fürntratt, Werner Bailer, Florian Krebs, Roland Unterberger, Herwig Zeiner
Veröffentlicht in: Proceedings of the 1st International Conference on Quantum Software, 2025
Herausgeber: SCITEPRESS - Science and Technology Publications
DOI: 10.5220/0013562200004525

Subjective Evaluation of Dynamic Point Clouds: Impact of Compression and Exploration Behavior

Autoren: Jesús Gutiérrez, Gulzhanat Dandyyeva, Matteo Dal Magro, Carlos Cortés, Michele Brizzi, Marco Carli, Federica Battisti
Veröffentlicht in: 2023
Herausgeber: IEEE
DOI: 10.23919/EUSIPCO58844.2023.10290086

Multimedia Retrieval in Mixed Reality: Leveraging Live Queries for Immersive Experiences

Autoren: Rahel Arnold, Heiko Schuldt
Veröffentlicht in: 2024
Herausgeber: IEEE
DOI: 10.1109/AIxVR59861.2024.00048

Semi -Automated Digital Human Production for Enhanced Media Broadcasting

Autoren: Miriana Martini; Valeria Valentini; Alberto Ciprian; Andrea Bottino; Roberto Iacoviello; Maurizio Montagnuolo; Alberto Messina; Francesco Strada; Davide Zappia
Veröffentlicht in: 2024 IEEE Gaming, Entertainment, and Media Conference (GEM), 2024
DOI: 10.1109/GEM61861.2024.10585601

Free-form Multi-Modal Multimedia Retrieval (4MR)

Autoren: Rahel Arnold, Loris Sauter, Heiko Schuldt
Veröffentlicht in: 2023
Herausgeber: Springer LNCS
DOI: 10.1007/978-3-031-27077-2_58

Nostrils and Mouth Detection for Drivers Using Convolutional Neural Networks with Automatically Generated Ground Truth Data

Autoren: Sorin Valcan, Mihail Gaianu
Veröffentlicht in: 2022 International Conference on Computational Science and Computational Intelligence (CSCI), 2023
Herausgeber: IEEE
DOI: 10.1109/CSCI58124.2022.00265

Multimedia Information Retrieval in XR

Autoren: Rahel Arnold, Werner Bailer, Ralph Gasser, Björn Þ. Jónsson, Omar Shahbaz Khan, Heiko Schuldt, Florian Spiess, Lucia Vadicamo
Veröffentlicht in: Proceedings of the 32nd ACM International Conference on Multimedia, 2025
Herausgeber: ACM
DOI: 10.1145/3664647.3689176

Multimedia Retrieval in and for XR

Autoren: Maria Pegia, Sotiris Diplaris, Stefanos Vrochidis, Heiko Schuldt, Florian Spiess, Rahel Arnold, Werner Bailer
Veröffentlicht in: Proceedings of the 2024 International Conference on Multimedia Retrieval, 2025
Herausgeber: ACM
DOI: 10.1145/3652583.3658421

Open-Source Multimedia Retrieval with vitrivr-engine

Autoren: Ralph Gasser, Rahel Arnold, Laura Rettig, Heiko Schuldt, Raphael Waltenspül, Luca Rossetto
Veröffentlicht in: Proceedings of the 33rd ACM International Conference on Multimedia, 2025
Herausgeber: ACM
DOI: 10.1145/3746027.3756874

Enabling Domain Experts to Train Efficient Few-Shot Incremental Landmark Recognition

Autoren: Helmut Neuschmied, Werner Bailer
Veröffentlicht in: 2024 International Conference on Content-Based Multimedia Indexing (CBMI), 2025
Herausgeber: IEEE
DOI: 10.1109/CBMI62980.2024.10859238

Untethered Real-Time Immersive Free Viewpoint Video

Autoren: Javier Usón, Carlos Cortés, Victoria Muñoz, Teresa Hernando, Daniel Berjón, Francisco Morán, Julián Cabrera, Narciso García
Veröffentlicht in: 2024
Herausgeber: ACM
DOI: 10.1145/3652212.3652214

Multimodal 3D Object Retrieval

Autoren: Pegia, Maria-Eirini; Jónsson, Björn Þór; Moumtzidou, Anastasia; Diplaris, Sotiris; Gialampoukidis, Ilias; Vrochidis, Stefanos; Kompatsiaris, Ioannis
Veröffentlicht in: 2024
Herausgeber: Springer LNCS
DOI: 10.5281/zenodo.10226588

Real-Time Free Viewpoint Video for Immersive Videoconferencing

Autoren: Javier Usón, Victoria Muñoz, Carlos Cortés, Daniel Berjón, Francisco Morán, César Díaz, Jesús Gutierrez, Fernando Jaureguizar, Narciso García, Julián Cabrera
Veröffentlicht in: 2024 16th International Conference on Quality of Multimedia Experience (QoMEX), 2024
Herausgeber: IEEE
DOI: 10.1109/QOMEX61742.2024.10598259

Ubervvald: Advanced Object Detection Library for Optimizing Complex Convolutional Neural Networks (CNNs)

Autoren: Dávid Nevezi-Strango, Mihail Găianu
Veröffentlicht in: Communications in Computer and Information Science, Recent Challenges in Intelligent Information and Database Systems, 2025
Herausgeber: Springer Nature Singapore
DOI: 10.1007/978-981-96-5887-9_14

Is Real-time Deep Learning-based Monocular Depth Estimation accurate for Multi-Camera Setups?

Autoren: Javier Usón, Julián Cabrera
Veröffentlicht in: 2025 IEEE International Conference on Consumer Technology-Europe (ICCT-Europe), 2025
Herausgeber: IEEE
DOI: 10.1109/ICCT-EUROPE63283.2025.11157669

Mining Landmark Images for Scene Reconstruction from Weakly Annotated Video Collections

Autoren: Neuschmied, Helmut; Bailer, Werner
Veröffentlicht in: MultiMedia Modeling, 2024
Herausgeber: Springer LNCS
DOI: 10.1007/978-3-031-53302-0_12

Multimodal Understanding: Investigating the Capabilities of Large Multimodal Models for Object Detection in XR Applications

Autoren: Rahel Arnold, Heiko Schuldt
Veröffentlicht in: Proceedings of the 2nd Workshop on Large Generative Models Meet Multimodal Applications, 2025
Herausgeber: ACM
DOI: 10.1145/3688866.3689126

Analysis and Development of Deep Learning Depth Estimation Techniques for Volumetric Capture and Free Viewpoint Video

Autoren: Javier Usón, Julián Cabrera
Veröffentlicht in: Proceedings of the ACM Multimedia Systems Conference 2024 on ZZZ, 2025
Herausgeber: ACM
DOI: 10.1145/3625468.3652913

A new Retrieval Engine for vitrivr

Autoren: Ralph Gasser, Rahel Arnold, Fynn Faber, Heiko Schuldt, Raphael Waltenspühl, Luca Rossetto
Veröffentlicht in: 2024
Herausgeber: Springer LNCS
DOI: 10.1007/978-3-031-53302-0_28

Real-Time Layered View Synthesis for Free-Viewpoint Video from Unreliable Depth Information

Autoren: Teresa Hernando, Daniel Berjón, Francisco Morán, Javier Usón, Cesar Díaz, Julián Cabrera, Narciso García
Veröffentlicht in: 2023
Herausgeber: ACM
DOI: 10.1145/3592834.3592881

VERGE in VBS 2024

Autoren: Pantelidis, Nick; Pegia, Maria; Galanopoulos, Damianos; Apostolidis, Konstantinos; Stavrothanasopoulos, Klearchos; Moumtzidou, Anastasia; Gkountakos, Konstantinos; Gialampoukidis, Ilias; Vrochidis, Stefanos; Mezaris, Vasileios; Kompatsiaris, Ioannis (Yiannis); Jónsson, Björn Þór
Veröffentlicht in: 2023
Herausgeber: Springer
DOI: 10.5281/zenodo.10652893

Improving Query and Assessment Quality in Text-Based Video Retrieval Evaluation

Autoren: Werner Bailer; Rahel Arnold; Vera Benz; Davide Alessandro Coccomini; Anastasios Gkagkas; Gylfi Þór Guðmundsson; Silvan Heller; Björn Þór Jónsson; Jakub Lokoc; Nicola Messina; Nick Pantelidis; Jiaxin Wu
Veröffentlicht in: 2023
Herausgeber: ACM
DOI: 10.1145/3591106.3592281

Ground Truth Data Generator in Automotive Infrared Sensor Vision Problems Using a Minimum Set of Operations

Autoren: Sorin Valcan, Mihail Gaianu
Veröffentlicht in: Communications in Computer and Information Science, Advances in Computational Collective Intelligence, 2024
Herausgeber: Springer Nature Switzerland
DOI: 10.1109/SYNASC61333.2023.00039

3DMSE: An Interactive 3D Media Search Engine

Autoren: Maria Eirini Pegia, Dimitris Georgalis, Nick Pantelidis, Björn Þór Jónsson, Anastasia Moumtzidou, Sotiris Diplaris, Ilias Gialampoukidis, Stefanos Vrochidis, Ioannis Kompatsiaris
Veröffentlicht in: Proceedings of the 2024 International Conference on Multimedia Retrieval, 2025
Herausgeber: ACM
DOI: 10.1145/3652583.3657593

Secure, Dynamic and Uncomplicated Licensing of Movies on a Blockchain Infrastructure

Autoren: Alexandre Ulisses
Veröffentlicht in: 2023
Herausgeber: IEEE
DOI: 10.1109/ICOIN56518.2023.10049017

XReco Platform and RAI News Media Demonstrator

Autoren: Roberto Iacoviello, Alberto Ciprian, Alberto Messina, Maurizio Montagnuolo, Davide Zappia
Veröffentlicht in: Proceedings of the 33rd ACM International Conference on Multimedia, 2025
Herausgeber: ACM
DOI: 10.1145/3746027.3761840

Volumetric Video Reconstruction and Communications: Toward a New Era of Interactive and Immersive Social Virtual Reality (VR) Experiences

Autoren: Ivan Huerta, Leonel Toledo, Sergio Montoya, Marc Martos, Sergi Fernandez, Mario Montagud
Veröffentlicht in: Proceedings of the 2024 ACM International Conference on Interactive Media Experiences Workshops, 2025
Herausgeber: ACM
DOI: 10.1145/3672406.3672421

Untethered Real-Time Immersive Free Viewpoint Video

Autoren: Javier Usón, Carlos Cortés, Victoria Muñoz, Teresa Hernando, Daniel Berjón, Francisco Morán, Julián Cabrera, Narciso García
Veröffentlicht in: Proceedings of the 16th International Workshop on Immersive Mixed and Virtual Environment Systems, 2025
Herausgeber: ACM
DOI: 10.1145/3652212.3652214

Peer reviewed articles (4)

Interactive Multimodal Video Search: An Extended Post-Evaluation for the VBS 2022 Competition

Autoren: Konstantin Schall and Werner Bailer and Kai-Uwe Barthel and Fabio Carrara and Jakub Lokoč and Ladislav Peška and Klaus Schoeffmann and Lucia Vadicamo and Claudio Vairo
Veröffentlicht in: International Journal of Multimedia Information Retrieval, 2024, ISSN 2192-6611
Herausgeber: Springer
DOI: 10.1007/s13735-024-00325-9

IEEE Access

Autoren: Vadicamo, Lucia; Arnold, Rahel; Bailer, Werner; Carrara, Fabio; Gurrin, Cathal; Hezel, Nico; Li, Xinghan; Lokoc, Jakub; Lubos, Sebastian; Ma, Zhixin; Messina, Nicola; Nguyen, Thao-Nhu; Peska, Ladislav; Rossetto, Luca; Sauter, Loris; Schöffmann, Klaus; Spiess, Florian; Tran, Minh-Triet; Vrochidis, Stefanos
Veröffentlicht in: Evaluating performance and trends in interactive video retrieval: insights from the 12th VBS competition, 2024, ISSN 2169-3536
Herausgeber: IEEE
DOI: 10.5167/UZH-261490

An Assessment of the Stereo and Near-Infrared Camera Calibration Technique Using a Novel Real-Time Approach in the Context of Resource Efficiency

Autoren: Larisa Ivascu, Vlad-Florin Vinatu, Mihail Gaianu
Veröffentlicht in: Processes, Ausgabe 13, 2025, ISSN 2227-9717
Herausgeber: MDPI AG
DOI: 10.3390/PR13041198

Multimedia Systems

Autoren: Jakub Lokoč; Stelios Andreadis; Werner Bailer; Aaron Duane; Cathal Gurrin; Zhixin Ma; Nicola Messina; Thao-Nhu Nguyen; Ladislav Peška; Luca Rossetto; Loris Sauter; Konstantin Schall; Klaus Schoeffmann; Omar Shahbaz Khan; Florian Spiess; Lucia Vadicamo; Stefanos Vrochidis
Veröffentlicht in: Multimedia Systems, 2023, ISSN 0942-4962
Herausgeber: Springer
DOI: 10.5167/uzh-236035

Book chapters (3)

Image Valuation in NeRF-Based 3D Reconstruction

Autoren: Grigogios Aris Cheimariotis, Antonis Karakottas, Vangelis Chatzis, Angelos Kanlis, Dimitrios Zarpalas
Veröffentlicht in: Lecture Notes in Computer Science, Computer Analysis of Images and Patterns, 2025
Herausgeber: Springer Nature Switzerland
DOI: 10.1007/978-3-032-04968-1_32

Complete Convolutional Neural Networks Environment for Computer Vision Problems With Nvidia Drive AGX Xavier

Autoren: Sorin Valcan, Mihail Gaianu
Veröffentlicht in: Communications in Computer and Information Science, Advances in Computational Collective Intelligence, 2024
Herausgeber: Springer Nature Switzerland
DOI: 10.1007/978-3-031-70248-8_7

Synthetic Football Sprite Animations Learned Across the Pitch

Autoren: Alexandru Ionascu, Sebastian Stefaniga, Mihail Gaianu
Veröffentlicht in: Communications in Computer and Information Science, Advances in Computational Collective Intelligence, 2023
Herausgeber: Springer Nature Switzerland
DOI: 10.1007/978-3-031-41774-0_48

Other (1)

Temporal multimodal video and lifelog retrieval

Autoren: Heller, Silvan
Veröffentlicht in: 2023
Herausgeber: n/a
DOI: 10.5451/unibas-ep94776