Description du projet
Nouveaux outils fondés sur les télécommunications et la vision par ordinateur
Les télécommunications et la vision par ordinateur appartiennent à des domaines scientifiques différents. Cette situation est sur le point de changer avec la création d’un nouveau domaine de recherche commun né de l’avènement des communications sans fil fondées sur des radios à ondes millimétriques avec des plages de fonctionnement sur la ligne de visée. Ce domaine rend possible l’exploitation des données issues de la vision par ordinateur pour prédire la dynamique des canaux sans fil et contribuer à créer des cartes 3D haute définition à des fins de localisation et de détection. D’un autre côté, les données/images radio peuvent améliorer la résilience des applications de vision par ordinateur à l’occlusion et à la faible luminosité. Le projet CONVERGE, financé par l’UE, mettra au point une panoplie d’outils innovants comprenant des antennes et des stations de base assistées par la vision, un simulateur radio-vision et un modeleur d’environnement 3D, ainsi que des algorithmes d’apprentissage automatique destinés aux données multimodales, notamment les signaux de communication et les flux vidéo.
Objectif
Telecommunications and computer vision have evolved as separate scientific areas. This is envisioned to change with the advent of wireless communications with radios characterised by line-of-sight ranges which could benefit from visual data to predict the wireless channel dynamics. Computer vision applications will also become more robust if helped by radio-based imaging. This new joint research field relies on wireless communications, computer vision, sensing and machine learning, and it has a high innovation potential because of the large domain of innovative applications it enables and the relevant know-how available in Europe. However, the full potential of this new area can only be evaluated if adequate Research Infrastructures (RI) and tools are available.
The main objective of the CONVERGE project is the development of an innovative toolset aligned with the motto “view-to-communicate and communicate-to-view”. This toolset is a world-first and consists of vision-aided large intelligent surfaces, vision-aided fixed and mobile base stations, a vision-radio simulator and 3D environment modeler, and machine learning algorithms for multimodal data including radio signals, video streams, RF sensing, and traffic traces. This toolset will be deployed into 7 RIs mostly aligned with the ESFRI SLICES-RI and improve their competitiveness.
CONVERGE will also provide the scientific community with open datasets of experimental and simulated data obtained with the toolset in the RIs, meet scientific and industrial requirements by addressing relevant 6G verticals, enhance the competitiveness of the involved companies, extend the European influence to world-wide recognised RIs, enable the creation of new RIs, contribute to the development of new environment-friendly tools, and help European Union to address its societal challenges.
Champ scientifique
- natural sciencescomputer and information sciencesartificial intelligencecomputer vision
- engineering and technologyelectrical engineering, electronic engineering, information engineeringinformation engineeringtelecommunicationsradio technology
- natural sciencescomputer and information sciencesartificial intelligencemachine learning
Mots‑clés
Programme(s)
Régime de financement
HORIZON-RIA - HORIZON Research and Innovation ActionsCoordinateur
4200 465 Porto
Portugal