Holistic Integration of Emerging Supercomputing Technologies

Descripción del proyecto

Descifrar el código para asignar con eficacia las cargas de trabajo a los recursos de «hardware»

No todos los ordenadores son rápidos. Algunos parecen igual de lentos que un caracol arrastrándose cuesta arriba. La asignación eficiente de cargas de trabajo a los recursos de «hardware» es un problema pendiente en las ciencias computacionales. En este contexto, el equipo del proyecto Hi-EST, financiado por el Consejo Europeo de Investigación, pretende abordar el reto de colocar cargas de trabajo en recursos de «hardware» para maximizar el rendimiento y la utilización de recursos. En concreto, se basará en cuatro pilares de investigación: aprendizaje supervisado de propiedades de colocación, algoritmos de colocación para tareas, algoritmos de colocación para datos y entornos definidos por «software» para la aplicación de la colocación. El equipo busca hacer avanzar las fronteras de la investigación en algoritmos de aprendizaje adaptativo, colocación de tareas, colocación de datos y entornos definidos por «software». El objetivo es alcanzar una gestión más eficiente de la infraestructura informática ajustando de manera continua la asignación de recursos.

Objetivo

Hi-EST aims to address a new class of placement problem, a challenge for computational sciences that consists in mapping workloads on top of hardware resources with the goal to maximise the performance of workloads and the utilization of resources. The objective of the placement problem is to perform a more efficient management of the computing infrastructure by continuously adjusting the number and type of resources allocated to each workload.

Placement, in this context, is well known for being NP-hard, and resembles the multi-dimensional knapsack problem. Heuristics have been used in the past for different domains, providing vertical solutions that cannot be generalised. When the workload mix is heterogeneous and the infrastructure hybrid, the problem becomes even more challenging. This is the problem that Hi-EST plans to address. The approach followed will build on top of four research pillars: supervised learning of the placement properties, placement algorithms for tasks, placement algorithms for data, and software defined environments for placement enforcement.

Hi-EST plans to advance research frontiers in four different areas: 1) Adaptive Learning Algorithms: by proposing the first known use of Deep Learning techniques for guiding task and data placement decisions; 2) Task Placement: by proposing the first known algorithm to map heterogeneous sets of tasks on top of systems enabled with Active Storage capabilities, and by extending unifying performance models for heterogeneous workloads to cover and unprecedented number of workload types; 3) Data Placement: by proposing the first known algorithm used to map data on top of heterogeneous sets of key/value stores connected to Active Storage technologies; and 4) Software Defined Environments (SDE): by extending SDE description languages with a still inexistent vocabulary to describe Supercomputing workloads that will be leveraged to combine data and task placement into one single decision-making process.