European Commission logo
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

A distributed data-mining software platform for extreme data across the compute continuum

Descripción del proyecto

Optimización y mejora de la extracción de datos extremos

Los datos y el conocimiento extraído se han convertido en una parte crucial de la transformación digital de muchos sectores. El proceso de extracción de conocimientos a partir de datos se basa en la extracción de datos, que requiere la optimización para una recopilación de datos eficaz y específica. Sin embargo, la extracción de datos no puede hacer frente a situaciones en las que las características de los datos son extremas. Esto crea un cuello de botella en el desarrollo y se necesitan tecnologías que permitan una extracción de datos eficiente en continuos informáticos que pueden manejar características extremas de los datos. El equipo del proyecto EXTRACT, financiado con fondos europeos, ofrece una solución a este reto. Creará una plataforma de «software» de código abierto basada en datos que utilizará un amplio abanico de tecnologías informáticas para garantizar la seguridad, la mejora del rendimiento y la eficiencia energética, al tiempo que permitirá la extracción de datos extremos.

Objetivo

Data has become one of the most valuable assets, driving the digital transformation across many sectors. Current data mining solutions are optimized to deal with specific data requirements, but fail to cope as the data characteristics become extreme. There is therefore an urgent need for novel and holistic approaches to enable the development, deployment and efficient execution of data mining workflows across a heterogeneous, secure and energy-efficient compute continuum, while fulfilling the diverse extreme data characteristics. To fill this technological gap, EXTRACT will deliver a data-driven open-source software platform integrating the most relevant technologies, to facilitate the development of trustworthy, accurate, fair and green data mining workflows able to generate high-quality actionable knowledge. The EXTRACT platform will improve the complete lifecycle of extreme data mining workflows, significantly enhancing performance, energy-efficiency, scalability and security, while fulfilling the extreme data characteristics in a holistic way. Moreover, multiple computing technologies, from edge to cloud to HPC, will be integrated into a unified and secure compute continuum. Specifically, the platform will feature enhanced data infrastructures and AI & big-data frameworks, novel data-driven orchestration and distributed monitoring mechanisms, a unified continuum abstraction and cybersecurity and digital privacy across all software layers. The EXTRACT platform will be validated in two real-world use-cases with different extreme data requirements: 1) a Personalized Evacuation Route service, integrating data from the European data sources, Copernicus and Galileo, with 5G localization signals and smart city IoT sensors for civilian-centric crisis management; and 2) Transient Astrophysics with a SKA pathfinder, processing extreme data from 2000 radio-telescopes for the real-time assessment of solar activity, generating knowledge for further scientific exploitation.

Coordinador

BARCELONA SUPERCOMPUTING CENTER CENTRO NACIONAL DE SUPERCOMPUTACION
Aportación neta de la UEn
€ 847 000,00
Dirección
CALLE JORDI GIRONA 31
08034 Barcelona
España

Ver en el mapa

Región
Este Cataluña Barcelona
Tipo de actividad
Research Organisations
Enlaces
Coste total
€ 847 000,00

Participantes (10)

Socios (1)