Nowe oprogramowanie systemowe dla bardziej wydajnych superkomputerów
Oprogramowanie do zarządzania dzisiejszymi superkomputerami zostało zaprojektowane przez wiele podmiotów w sposób nieskoordynowany. Takie podejście uniemożliwia zwiększanie skali obecnych systemów. Zadaniem naukowców uczestniczących w finansowanym przez UE projekcie CLARISSE (Cross-layer abstractions and run-time for I/O software stack of extreme-scale systems) było zwiększenie wydajności, skalowalności, programowalności i solidności zarządzania danych z równoległych aplikacji. Działania te przyczynią się do stworzenia wielkoskalowej infrastruktury do obliczeń równoległych, która będzie o dwa rzędy wielkości szybsza niż obecne superkomputery. Partnerzy projektu zbadali, zaprojektowali i wdrożyli mechanizmy kontrolne umożliwiające międzywarstwową dystrybucję wskazówek dotyczących aplikacji, informacji zwrotnych na temat czasu pracy, powiadomień i funkcji wejścia/wyjścia (I/O) w obrębie stosu oprogramowania I/O. Stworzyli prototypową płytę sterowniczą służącą jako system publikacji/subskrypcji oraz rozproszoną infrastrukturę monitorowania w celu rozpowszechniania, filtrowania i łączenia dowolnej liczby danych w obrębie całego systemu. Aby poprawić skalowalność i elastyczność oprogramowania I/O, naukowcy zbadali algorytmy oraz opracowali i wdrożyli mechanizmy i zasady dotyczące adaptacyjnej kontroli ścieżki danych I/O. Obejmują one buforowanie i zestaw nowych abstrakcji dla płaszczyzny danych. Przyjęto dwie wspólne metody dotyczące wejścia/wyjścia, w przypadku których organizacja danych może być kontrolowana przez płytkę montażową. Zespół CLARISSE zbadał i opracował techniki eksponowania i wykorzystywania lokalności danych na wszystkich stosach oprogramowania I/O w celu zmniejszenia ruchu danych I/O pamięci i poprawy wydajności. Wyniki pokazują, że poprzez kompromis pomiędzy lokalnością danych i obciążeniem obliczeniowym można znacznie zredukować ruch I/O, przy jednoczesnej poprawie wydajności i skalowalności w stosunku do istniejącej praktyki. Projekt wprowadził strategie planowania uwzględniające kwestie lokalności dla naukowych systemów pracy, które pozwalają kontrolować lokowanie danych oraz zadań o różnych stopniach surowości. Dzięki projektowi CLARISSE koordynacja zarządzania danymi w różnych warstwach systemowych stała się możliwa. Opracowane technologie mogą być stosowane w celu zwiększenia wydajności i skalowalności równoległych zastosowań naukowych i inżynierskich, takich jak modelowanie klimatu, projektowanie materiałów, astrofizyka, genetyka i bioinżynieria.
Słowa kluczowe
CLARISSE, abstrakcje międzywarstwowe, czas pracy, stos oprogramowania, systemy o skrajnie dużej skali
