Projektbeschreibung
Neue Instrumente auf der Grundlage von Telekommunikation und maschinellem Sehen
Telekommunikation und maschinelles Sehen gehören zu unterschiedlichen wissenschaftlichen Fachgebieten. Das wird sich mit der Schaffung eines neuen gemeinsamen Forschungsbereichs ändern, der sich aus dem Aufkommen der drahtlosen Kommunikation auf der Grundlage von Millimeterwellen-Funkgeräten mit Sichtverbindung ergibt. Daraus hat sich die Möglichkeit eröffnet, Bildverarbeitungsdaten zur Vorhersage der Dynamik drahtloser Kanäle und zur Erstellung hochauflösender 3D-Karten für die Lokalisierung und Erkennung zu nutzen, während andererseits funkbasierte Daten/Bilder dazu beitragen können, dass Bildverarbeitungsanwendungen widerstandsfähiger gegen Verdeckung und schlechte Lichtverhältnisse werden. Im Rahmen des EU-finanzierten Projekts CONVERGE wird ein innovatives Instrumentarium entwickelt, das aus bildverarbeitungsgestützten Antennen und Basisstationen, einem Bildfunk-Simulator und einem 3D-Umgebungsmodellierer sowie Algorithmen für maschinelles Lernen für multimodale Daten, einschließlich Kommunikationssignalen und Videoströmen, besteht.
Ziel
Telecommunications and computer vision have evolved as separate scientific areas. This is envisioned to change with the advent of wireless communications with radios characterised by line-of-sight ranges which could benefit from visual data to predict the wireless channel dynamics. Computer vision applications will also become more robust if helped by radio-based imaging. This new joint research field relies on wireless communications, computer vision, sensing and machine learning, and it has a high innovation potential because of the large domain of innovative applications it enables and the relevant know-how available in Europe. However, the full potential of this new area can only be evaluated if adequate Research Infrastructures (RI) and tools are available.
The main objective of the CONVERGE project is the development of an innovative toolset aligned with the motto “view-to-communicate and communicate-to-view”. This toolset is a world-first and consists of vision-aided large intelligent surfaces, vision-aided fixed and mobile base stations, a vision-radio simulator and 3D environment modeler, and machine learning algorithms for multimodal data including radio signals, video streams, RF sensing, and traffic traces. This toolset will be deployed into 7 RIs mostly aligned with the ESFRI SLICES-RI and improve their competitiveness.
CONVERGE will also provide the scientific community with open datasets of experimental and simulated data obtained with the toolset in the RIs, meet scientific and industrial requirements by addressing relevant 6G verticals, enhance the competitiveness of the involved companies, extend the European influence to world-wide recognised RIs, enable the creation of new RIs, contribute to the development of new environment-friendly tools, and help European Union to address its societal challenges.
Wissenschaftliches Gebiet
- natural sciencescomputer and information sciencesartificial intelligencecomputer vision
- engineering and technologyelectrical engineering, electronic engineering, information engineeringinformation engineeringtelecommunicationsradio technology
- natural sciencescomputer and information sciencesartificial intelligencemachine learning
Schlüsselbegriffe
Programm/Programme
Thema/Themen
Aufforderung zur Vorschlagseinreichung
Andere Projekte für diesen Aufruf anzeigenFinanzierungsplan
HORIZON-RIA - HORIZON Research and Innovation ActionsKoordinator
4200 465 Porto
Portugal