Poprawa dostępu do superkomputerów w celu usprawnienia analiz meteorologicznych, projektowania silników i ograniczania skutków katastrof
Obliczenia wielkiej skali (HPC) w Europie wkrótce osiągną prędkość eksaskalową, przewyższając łączną moc miliona najszybszych laptopów. Pozwoli to tworzyć szeroki wachlarz innowacji. Współczesne zadania wymagające dużej ilości danych, na przykład związane z prognozowaniem pogody, opierają się na intensywnych obliczeniowo przepływach pracy łączących modelowanie i symulacje oraz nowe analizy danych wraz z dużymi modelami językowymi sztucznej inteligencji (SI). Obecne przepływy pracy i powiązane narzędzia, zaprojektowane do użytku na mniej wydajnych superkomputerach, trzeba będzie prawdopodobnie dostosować do specyfiki tych nowych maszyn. „Modele programowania i narzędzia aplikacji, na których bazuje wiele obecnych przepływów pracy są różne, dlatego musimy uprościć sposób, w jaki ze sobą współpracują”, wyjaśnia Rosa Badia z Barcelona Supercomputing Center, pełniąca rolę koordynatorki projektu eFlows4HPC. Autorzy projektu nazwali swoje podejście „przepływem HPC jako usługą”, ponieważ opracowane przez nich oprogramowanie, hostowane na przyjaznej dla użytkownika platformie, płynnie integruje różne aplikacje. „Nasze podejście – które niedawna nie byłoby możliwe – uprościło dostęp do systemów HPC, otwierając je na użytkowników niebędących ekspertami, a tym samym przyczyniając się do upowszechnienia naukowego, społecznego i przemysłowego potencjału superkomputerów”, mówi Badia. Do tej pory dzięki temu podejściu powstało ponad 30 publikacji naukowych, a także biała księga na temat zagrożeń naturalnych.
Nowatorskie komponenty
Zespół eFlows4HPC dodał nowe funkcje do istniejących narzędzi, obsługujące większe i bardziej złożone przepływy pracy HPC oraz najnowocześniejsze technologie, takie jak sztuczna inteligencja i duże zbiory danych. Sercem rozwiązania jest szereg komponentów oprogramowania, zwanych łącznie stosem, które w sposób kompleksowy implementują przepływy pracy oparte na HPC. Po pierwsze, różne aplikacje przepływów pracy – np. symulatory, przetwarzanie danych i przewidywanie uczenia maszynowego – są opracowywane przy użyciu środowiska programistycznego PyCOMPSs. Potoki danych są konfigurowane w taki sposób, aby umożliwić koordynowanie sposobu zarządzania danymi przepływu pracy, łącząc te aspekty obliczeniowe i zarządzania danymi przepływu pracy. Wszystko, co jest potrzebne do uruchomienia oprogramowania, zostaje zamknięte w pliku kontenera i zainstalowane w systemie HPC. Użytkownicy mogą uruchamiać swoje przepływy pracy za pomocą dedykowanego interfejsu.
Testowanie z udziałem różnorodnych społeczności użytkowników
Aby wykazać potencjał swojego podejścia, zespół przeprowadził trzy testy przypadków użycia z bardzo zróżnicowanymi społecznościami użytkowników. Pierwszym testem użytkowym jest cyfrowy bliźniak procesów produkcyjnych i zasobów, który pozwala w niedrogi sposób symulować eksperymenty z różnymi scenariuszami badawczo-rozwojowymi. Na przykład jeden z partnerów projektu, CIMNE, współpracował z firmą Siemens w celu opracowania modelu silnika elektrycznego, który byłby w stanie uniknąć przegrzania. Jako że partnerstwo to przyniosło zachęcające wyniki, CIMNE zamierza teraz utworzyć spółkę spin-off, która pozwoli je wykorzystać. Drugi z testów skupiał się na modelowaniu systemu ziemskiego, wykorzystując dwa przepływy pracy oparte na SI w celu poprawy efektywności zarówno modeli systemu ziemskiego, jak i modeli predykcyjnych cyklonów tropikalnych występujących na północnym Pacyfiku. Symulacje te mogą ostatecznie przyczynić się do ulepszenia globalnych systemów wczesnego ostrzegania, adaptacji i łagodzenia skutków. Oba przepływy pracy przyniosły pozytywne wyniki, a ich rozbudowane wersje są obecnie wykorzystywane w ramach projektu interTwin i inicjatywy DestinE. Wreszcie, opracowano (prawdopodobnie po raz pierwszy w Europie) przepływy pracy mający na celu ustalenie priorytetów dostępu do zasobów superkomputerowych znanych jako „urgent computing” w celu przewidywania wpływu zagrożeń naturalnych, w szczególności trzęsień ziemi i tsunami. „Dzięki dynamicznej elastyczności naszego rozwiązania rozszerzenia tych przepływów pracy są obecnie wykorzystywane w projekcie DT-GEO, w którym powstają cyfrowe bliźniaki systemów fizycznych mające na celu monitorowanie i przewidywanie zagrożeń naturalnych”, dodaje Badia.
Trampolina dla przepływów pracy nowej generacji
Projekt został zrealizowany przy wsparciu ze Wspólnego Przedsięwzięcia w dziedzinie Europejskich Obliczeń Wielkiej Skali (Wspólne Przedsięwzięcie EuroHPC), inicjatywy utworzonej w celu stworzenia w Europie światowej klasy ekosystemu superkomputerów. Całe oprogramowanie open-source opracowane w ramach projektu, wraz z demonstracyjnymi przepływami pracy, zostało udostępnione wszystkim zainteresowanym. „Zachęcamy wszystkie społeczności użytkowników do korzystania z oprogramowania i wspólnego poszerzania jego możliwości”, mówi Jorge Ejarque, kierownik techniczny eFlows4HPC. Aby zadbać o transfer najlepszych praktyk i wyników będących owocem projektu, przeprowadzono szkolenia i warsztaty w Barcelonie, Monachium oraz Helsinkach. Zespół nadal rozszerza funkcje i możliwości wszystkich przepływów pracy, koncentrując się na systemach SI i cyfrowych bliźniakach.
Słowa kluczowe
eFlows4HPC, Wspólne Przedsięwzięcie EuroHPC, eksaskalowe, superkomputery, oprogramowanie, SI, cyfrowe bliźniaki, przepływy pracy, zagrożenia, produkcja, symulatory, przetwarzanie danych, uczenie maszynowe, system ziemski, analiza danych, HPC