Un nouveau système de stockage de données enlève une épine du pied des supercalculateurs exascale
Les supercalculateurs sont des machines dotées de nombreux processeurs (à l’heure actuelle, des milliers) qui fonctionnent en parallèle pour atteindre des fréquences de calcul surpassant largement les ordinateurs classiques. Ceux de la dernière génération sont connus sous le nom de supercalculateurs exascale. Dépassant, par définition, un milliard de milliards de calculs par seconde, les machines les plus récentes ont une vitesse mille fois supérieure par rapport à la meilleure dont on disposait il y a dix ans. De tels équipements sont utilisés dans les domaines de recherche les plus exigeants en matière de puissance de calcul, comme par exemple: les études météorologiques/climatiques, la génomique et les simulations du cerveau humain. Les technologies actuelles de gestion de données sont déjà confrontées aux exigences des supercalculateurs. Un supercalculateur classique à haute performance peut par exemple exécuter une simulation sur plus de 8 000 processeurs, produisant 25 To de données par jour. Le traitement des données brutes multiplie cette quantité par deux ou trois. Certaines applications doivent déjà lire des centaines de téraoctets. Désormais, avec les supercalculateurs exascale, les applications produisant des pétaoctets (1 000 To) de données seront monnaie courante. Les ordinateurs stockent généralement les données à un certain endroit et les transfèrent à un autre endroit pour les analyser ou les traiter. Actuellement, même avec les meilleurs réseaux disponibles, le transfert de téraoctets ou de pétaoctets de données peut prendre plusieurs heures. Cela constitue un goulot d’étranglement significatif. En outre, le mouvement des données nécessite des quantités énormes d’énergie, de l’ordre de plusieurs centaines de mégawatts. Se débarrasser de ce goulot d’étranglement Le projet SAGE, financé par l’UE, a développé un nouveau système de stockage de données capable de satisfaire les exigences de l’informatique exascale. Cette innovation minimise les besoins en termes de transport de données. «Au lieu de déplacer les données, notre système transfère les calculs vers le système de stockage», explique le Dr Sai Narasimhamurthy, responsable du projet. Les données peuvent être traitées directement au niveau de l’emplacement de stockage, ou à proximité de ce dernier. Les applications des supercalculateurs peuvent être intégrées à des modules d’analyse, si nécessaire. Le système de «stockage intelligent» de SAGE permet en outre d’optimiser le stockage de données. Les données peuvent être stockées sur plusieurs niveaux, dont notamment: des disques durs conventionnels, des disques statiques à semi-conducteurs et de la mémoire non volatile. Chacun d’entre eux possède ses propres caractéristiques en termes de performance. Le système SAGE déplace les données vers le niveau présentant les caractéristiques de fonctionnement appropriées au bon moment. Cela améliore les performances. Combiner ces deux aspects signifie flexibilité et polyvalence. Les applications faisant intervenir divers formats de données complexes peuvent utiliser différents types d’outils de gestion de données. Il en résulte une interface de programmation d’applications puissante et extensible, également développée par l’équipe SAGE. Le prototype de démonstration Le Dr Narasimhamurthy ajoute: «Notre prototype était “très petit”, avec une capacité de traitement inférieure à un demi-pétaoctet de données. Par ailleurs, notre logiciel n’est pas encore optimisé.» Il est par conséquent irréaliste de comparer les performances des prototypes à celles de grands groupes de production. L’objectif principal de l’équipe consistait plutôt à prouver que les méthodes et les techniques fonctionnaient. C’est effectivement le cas, et elles peuvent facilement être adaptées à une gamme supérieure de matériel de stockage. L’accueil que la communauté scientifique a réservé au projet a été très positif. Après cette démonstration réussie, le projet continuera dans le cadre de Sage2. Le nouveau projet continuera à développer le prototype SAGE et explorera de nouvelles façons d’utiliser le stockage en mémoire non volatile distribuée. Il se penchera également sur les applications des supercalculateurs exascale en matière d’intelligence artificielle et d’apprentissage profond. Le système SAGE va supprimer ou réduire considérablement les goulots d’étranglement affectant les supercalculateurs exascale, et ainsi permettre aux machines de se rapprocher de leur vitesse de fonctionnement maximale. En outre, on s’attend à ce que la consommation d’énergie soit finalement à peu près 100 fois inférieure à celle des systèmes actuels. Le marché mondial du stockage informatique haute performance devrait atteindre 6 milliards de dollars en 2021. Le marché de l’analyse des mégadonnées et du stockage en cloud sera encore plus important. Les projets SAGE cibleront les composantes européennes de ces deux marchés.
Mots‑clés
SAGE, supercalculateurs, exascale, goulot d’étranglement, pétaoctet, stockage de données, transport de données, stockage intelligent
