Neuartige Datenverwaltung für Exa-Hochleistungsrechnen
Der Bedarf an Exa-Supercomputern(öffnet in neuem Fenster) wird immer größer, sodass der Zugang und die Arbeitslast ausgeweitet werden müssen, um mehr Nutzenden die Möglichkeit zu bieten, zunehmend vielfältige und komplexe Anwendungen auszuführen. Exa-Systeme können Milliarden Berechnungen pro Sekunde durchführen. Die Verwaltung und Speicherung all dieser Daten ist ein großes Problem: Aktuelle Speichersysteme stoßen an ihre Grenzen und die Betriebssysteme sind überlastet. „Die Anwendungen der Zukunft können nicht mit den aktuellen Speicherparadigmen ausgeführt werden“, sagt Philippe Deniel, Leiter des Storage Systems Lab an der CEA(öffnet in neuem Fenster), der französischen Behörde für alternative Energie und Atomenergie. Als Projektkoordinator bei IO-SEA(öffnet in neuem Fenster) hat Deniel die Entwicklung und Implementierung einer neuen Softwarelösung geleitet, mit der langfristige Speicherung für die zunehmenden Datenanforderungen möglich ist. IO-SEA ist neben DEEP-SEA und RED-SEA eines von drei SEA-Projekten(öffnet in neuem Fenster), in denen komplementäre Technologien für eine modulare europäische Architektur für Hochleistungsrechnen (HPC) entworfen werden sollen.
Speicherlösungen
Ein zentrales Problem beim Exa-Rechnen ist die Entwicklung der Berechnungsmethoden. Supercomputer beruhen auf Graphikprozessoren (GPU), mit denen komplexe Probleme in Tausende Aufgaben aufgebrochen werden, die gleichzeitig ausgeführt werden. Dafür ist viel Arbeitsspeicher notwendig. Die Lösung von IO-SEA (sogenannte Softwarestacks, die aus mehreren Komponenten bestehen) beruht auf der innovativen Nutzung von hierarchischem Speichermanagement(öffnet in neuem Fenster) (HSM), Objektspeichern und „flüchtigen“ Servern. Das IO-SEA-Team nutzt eine Datenspeicherarchitektur namens „Objektspeicher“, in der Elemente als Cluster zusammengefasst werden, wobei jeder Cluster Daten, Metadaten und eine einzigartige Kennung enthält. Das HSM ist ein mehrstufiger Speicheransatz, bei dem automatisch das beste Speichermedium für die jeweilige Anwendung bestimmt wird, seien es nichtflüchtige Speicher(öffnet in neuem Fenster) (NVMe) wie Solid-State-Laufwerke, nichtflüchtige, RAM-basierte Datenspeicher (NVRAM) oder sogar Bandspulen – die im Hochleistungsrechnen für die geringen Kosten und den Stromverbrauch geschätzt werden. Bei dieser mehrstufigen Struktur werden häufig aufgerufene Daten auf schnellen Medien wie NVMe gespeichert und die Bandspulen dienen als langfristiger Speicher. „Für ein wirksames HSM müssen Dateien schnell identifiziert werden“, so Deniel. „Mit unserem fortschrittlichen Kontrollmechanismus werden Daten in einer großen Datenbank gesammelt. Unsere künstliche Intelligenz greift darauf zu und gibt ausgehend vom Verhalten Nutzerempfehlungen aus.“ Jeder Speicher wird auch On Demand angeboten, mit einem dynamischen Plan zur Ausführung der Rechenaufgaben. Über ein Modul zum Ablaufmanagement werden Simulationen eingerichtet, die dann automatisch zur Ausführung auf speziellen Rechenknoten zugewiesen werden. Die Ergebnisse werden an das Speichersystem gesendet und diese Server „verschwinden“, wobei die Knoten für die nächste Aufgabe freigegeben werden.
Geteilte Ressourcen
Die Nutzenden greifen über verschiedene Middleware zum Datenzugang auf das IO-SEA-System zu, zum Beispiel über das Protokoll POSIX(öffnet in neuem Fenster). Das System wurde mit verschiedenen Anwendungsfällen getestet, darunter Elektronenmikroskopie, Astrophysikprogrammen, Klimatologie und Erdsystemmodellierung (in Partnerschaft mit DEEP-SEA), Simulationen der Quantenphysik sowie Meteorologie und Wettervorhersagen in großem Ausmaß. „Wir konnten durchgehend die Möglichkeit unserer Lösung nachweisen, einen Paradigmenwechsel von statischen und unveränderlichen Speichern hin zu Speicherung als dynamischem und geteiltem Prozess zu eröffnen“, ergänzt Deniel. Die Lösung von IO-SEA wird im Rahmen des Exa-Prototyps von EUPEX(öffnet in neuem Fenster) eingesetzt und soll in den kommenden Jahren in Betrieb genommen werden. Die Software ist auf der Code-Sharing-Website GitHub frei verfügbar(öffnet in neuem Fenster). Das Projekt wurde mit Unterstützung des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen (GU EuroHPC)(öffnet in neuem Fenster) durchgeführt, einer Initiative, die zur Entwicklung eines Ökosystems für Hochleistungsrechnen von Weltrang in Europa gegründet wurde. „Unsere Lösung ist zwar eine Sammlung mehrerer Produkte, die von Endnutzenden und Systementwickelnden gemeinsam entworfen wurde, doch sie stellt einen integrierten Speicherstack für die Zukunft des Exa-Rechnens dar“, schließt Deniel.
Schlüsselbegriffe
IO-SEA, GU EuroHPC, Exa, HPC, Hochleistungsrechnen, Arbeitsspeicher, Speicher, Ressourcen, Objektspeicher, hierarchisches Speichermanagement, HSM, Bandspule, NVMe