Descrizione del progetto
Nuovi strumenti basati sulle telecomunicazioni e sulla visione computerizzata
Le telecomunicazioni e la visione computerizzata appartengono a campi specifici distinti. Questa situazione cambierà con la creazione di un nuovo campo di ricerca congiunto derivante dall’avvento delle comunicazioni wireless basate su radio a onde millimetriche, con campi operativi nella linea di vista. Ciò permette di sfruttare i dati della visione computerizzata per prevedere le dinamiche dei canali wireless e contribuire alla creazione di mappe 3D ad alta definizione per la localizzazione e il rilevamento, mentre dall’altro lato i dati/l’immaginografia basati sulla radio possono aiutare le applicazioni di visione computerizzata a diventare più resistenti all’occlusione e alla scarsa luminosità. Il progetto CONVERGE, finanziato dall’UE, svilupperà un set di strumenti innovativi composto da antenne e stazioni di base con supportate dalla visione, un simulatore radiovisivo e un modellatore di ambienti 3D, nonché algoritmi di apprendimento automatico per dati multimodali, tra cui segnali di comunicazione e flussi video.
Obiettivo
Telecommunications and computer vision have evolved as separate scientific areas. This is envisioned to change with the advent of wireless communications with radios characterised by line-of-sight ranges which could benefit from visual data to predict the wireless channel dynamics. Computer vision applications will also become more robust if helped by radio-based imaging. This new joint research field relies on wireless communications, computer vision, sensing and machine learning, and it has a high innovation potential because of the large domain of innovative applications it enables and the relevant know-how available in Europe. However, the full potential of this new area can only be evaluated if adequate Research Infrastructures (RI) and tools are available.
The main objective of the CONVERGE project is the development of an innovative toolset aligned with the motto “view-to-communicate and communicate-to-view”. This toolset is a world-first and consists of vision-aided large intelligent surfaces, vision-aided fixed and mobile base stations, a vision-radio simulator and 3D environment modeler, and machine learning algorithms for multimodal data including radio signals, video streams, RF sensing, and traffic traces. This toolset will be deployed into 7 RIs mostly aligned with the ESFRI SLICES-RI and improve their competitiveness.
CONVERGE will also provide the scientific community with open datasets of experimental and simulated data obtained with the toolset in the RIs, meet scientific and industrial requirements by addressing relevant 6G verticals, enhance the competitiveness of the involved companies, extend the European influence to world-wide recognised RIs, enable the creation of new RIs, contribute to the development of new environment-friendly tools, and help European Union to address its societal challenges.
Campo scientifico
- natural sciencescomputer and information sciencesartificial intelligencecomputer vision
- engineering and technologyelectrical engineering, electronic engineering, information engineeringinformation engineeringtelecommunicationsradio technology
- natural sciencescomputer and information sciencesartificial intelligencemachine learning
Parole chiave
Programma(i)
Argomento(i)
Meccanismo di finanziamento
HORIZON-RIA - HORIZON Research and Innovation ActionsCoordinatore
4200 465 Porto
Portogallo