Descripción del proyecto
«Middleware» que optimiza el movimiento de datos mediante paradigmas de memoria y conocimiento de datos.
El «middleware» es el puente que conecta las funciones del sistema operativo y las bases de datos con las aplicaciones que dependen de ellas. En la era de la informática de alto rendimiento y el análisis de datos de alto rendimiento, el cuello de botella del rendimiento ya no es la capacidad de cálculo en coma flotante (es decir, la potencia de cálculo bruta). En cambio, las restricciones al rendimiento han pasado a estar dominadas por el movimiento de datos a través de los sistemas de memoria y almacenamiento. El proyecto MAESTRO, financiado con fondos europeos, pretende dar respuesta a la necesidad de un marco de «middleware» consciente de los datos y la memoria para hacer frente a volúmenes de datos cada vez mayores. Ello facilitará la optimización del tratamiento de datos mediante una mayor abstracción de los modelos de datos, una gestión innovadora de los flujos de trabajo y un aprovisionamiento dinámico. En última instancia, esto se traducirá en un mayor rendimiento computacional.
Objetivo
Maestro will build a data-aware and memory-aware middleware framework that addresses ubiquitous problems of data movement in complex memory hierarchies and at many levels of the HPC software stack.
Though HPC and HPDA applications pose a broad variety of efficiency challenges, it would be fair to say that the performance of both has become dominated by data movement through the memory and storage systems, as opposed to floating point computational capability. Despite this shift, current software technologies remain severely limited in their ability to optimise data movement. The Maestro project addresses what it sees as the two major impediments of modern HPC software:
1. Moving data through memory was not always the bottleneck. The software stack that HPC relies upon was built through decades of a different situation – when the cost of performing floating point operations (FLOPS) was paramount. Several decades of technical evolution built a software stack and programming models highly fit for optimising floating point operations but lacking in basic data handling functionality. We characterise the set of technical issues at missing data-awareness.
2. Software rightfully insulates users from hardware details, especially as we move higher up the software stack. But HPC applications, programming environments and systems software cannot make key data movement decisions without some understanding of the hardware, especially the increasingly complex memory hierarchy. With the exception of runtimes, which treat memory in a domain-specific manner, software typically must make hardware-neutral decisions which can often leave performance on the table . We characterise this issue as missing memory-awareness.
Maestro proposes a middleware framework that enables memory- and data-awareness.
Ámbito científico
Programa(s)
Convocatoria de propuestas
Consulte otros proyectos de esta convocatoriaConvocatoria de subcontratación
H2020-FETHPC-2017
Régimen de financiación
RIA - Research and Innovation actionCoordinador
52428 Julich
Alemania