Améliorer l’accès aux superordinateurs pour stimuler la météorologie, la conception de moteurs et la prévention des catastrophes
La capacité de calcul à haute performance (HPC) de l’Europe atteindra bientôt des vitesses exaflopiques, avec des systèmes plus puissants qu’un million d’ordinateurs portables parmi les plus rapides. Cela permettra un large éventail d’innovations de nouvelle génération. Aujourd’hui, les tâches à forte intensité de données, telles que les prévisions météorologiques, dépendent de flux de travail lourds en termes de calcul combinant la modélisation et les simulations, l’analyse de nouvelles données et les grands modèles linguistiques de l’intelligence artificielle (IA). Les flux de travail actuels et les outils associés, conçus pour être utilisés sur des superordinateurs moins puissants, devront probablement être adaptés à ces nouvelles machines. «Les modèles de programmation et les outils des applications qui sous-tendent de nombreux flux de travail actuels sont différents, et nous devons donc simplifier la manière dont ils fonctionnent ensemble», explique Rosa Badia du Barcelona Supercomputing Center et coordinatrice du projet eFlows4HPC. Le projet a baptisé son approche «Flux de travail HPC en tant que service» car sa solution logicielle, hébergée sur une plateforme conviviale, intègre de manière homogène diverses applications. «Notre approche – qui n’était pas possible auparavant – a simplifié l’accès aux systèmes HPC, les ouvrant à des utilisateurs non experts, diffusant ainsi les opportunités scientifiques, sociales et industrielles des supercalculateurs», déclare Rosa Badia. Jusqu’à présent, plus de 30 publications scientifiques ont été produites grâce à cette approche, ainsi qu’un livre blanc politique sur les catastrophes naturelles.
Sous le capot
Le projet eFlows4HPC a ajouté de nouvelles fonctionnalités aux outils existants, prenant en charge des flux de travail HPC plus importants et plus complexes, ainsi que des technologies de pointe telles que l’IA et les mégadonnées. Au cœur de la solution se trouve une série de composants logiciels, collectivement connus sous le nom de pile logicielle, qui mettent en œuvre les flux de travail basés sur le calcul intensif, du début à la fin. Tout d’abord, les différentes applications du flux de travail – telles que les simulateurs, le traitement des données et les prédictions d’apprentissage automatique – sont développées à l’aide de l’environnement de programmation PyCOMPSs. Des pipelines de données sont également mis en place pour coordonner la gestion des données du flux de travail, en combinant ces aspects de calcul et de gestion des données du flux de travail. Enfin, tout ce qui est nécessaire à l’exécution du logiciel est encapsulé dans un fichier conteneur et installé sur le système HPC. Les utilisateurs peuvent ensuite exécuter leurs flux de travail à l’aide d’une interface dédiée.
Essais auprès de diverses communautés d’utilisateurs
Pour démontrer le potentiel de leur approche, l’équipe a mené trois essais de cas d’utilisation avec des communautés d’utilisateurs très différentes. Le premier essai de cas d’utilisation créé est un jumeau numérique des processus de fabrication et des actifs qui simule des expériences avec différents scénarios de recherche et de développement de manière rentable. Par exemple, un partenaire du projet, CIMNE, a collaboré avec Siemens pour produire un modèle de moteur électrique capable d’éviter la surchauffe. Ce partenariat ayant donné des résultats encourageants, CIMNE a maintenant l’intention de créer une entreprise spin-off pour exploiter ces résultats. Le second essai s’est concentré sur la modélisation du système terrestre, en utilisant deux flux de travail basés sur l’IA pour améliorer l’efficacité des modèles du système terrestre et des modèles de prévision pour les cyclones tropicaux du Pacifique Nord. Ces simulations pourraient à terme contribuer à améliorer les systèmes mondiaux d’alerte précoce, d’adaptation et d’atténuation. Les deux flux de travail ayant donné des résultats positifs, les extensions sont désormais utilisées dans le cadre du projet interTwin et de l’initiative DestinE. Enfin, des flux de travail permettant de donner la priorité à l’accès aux ressources de supercalculateurs, connus sous le nom de «calcul urgent», ont été développés (probablement pour la première fois en Europe) pour prévoir l’impact des catastrophes naturelles, en particulier les tremblements de terre et les tsunamis. «Grâce à la flexibilité dynamique de notre solution, des extensions de ces flux de travail sont maintenant utilisées dans le projet DT-GEO, qui développe des jumeaux numériques de systèmes physiques pour surveiller et prévoir les catastrophes naturelles», ajoute Rosa Badia.
Un tremplin pour les flux de travail de nouvelle génération
Le projet a été réalisé avec le soutien de l’entreprise commune européenne pour le calcul haute performance (EuroHPC JU), une initiative mise en place pour développer un écosystème de supercalculateurs de classe mondiale en Europe. Tous les logiciels libres développés dans le cadre du projet, ainsi que les flux de travail de démonstration, ont été mis à disposition en libre accès. «Nous encourageons toute communauté d’utilisateurs à accéder au logiciel et à commencer à collaborer pour étendre ses capacités», note Jorge Ejarque, responsable technique d’eFlows4HPC. Pour assurer le transfert des meilleures pratiques et des résultats obtenus dans le cadre du projet, des formations et des ateliers ont été organisés à Barcelone, Munich et Helsinki. L’équipe continue d’étendre les fonctionnalités et les capacités de tous les flux de travail du projet, en se concentrant sur les systèmes d’IA et les jumeaux numériques.
Mots‑clés
eFlows4HPC, EuroHPC JU, échelle exaflopique, supercalculateur, logiciel, IA, jumeaux numériques, flux de travail, risques, fabrication, simulateurs, traitement des données, apprentissage automatique, système terrestre, analyse des données, HPC