Neue System-Software für leistungsstärkere Supercomputer
Die Entwicklung von Software-Programmen für moderne Supercomputer war bislang wenig koordiniert, sodass derzeitige Systeme kaum erweiterbar sind. Ziel des EU-finanzierten Projekts CLARISSE (Cross-layer abstractions and run-time for I/O software stack of extreme-scale systems) war es, die Leistung, Skalierbarkeit, Programmierbarkeit und Robustheit der Datenverwaltung für parallele wissenschaftliche Anwendungen zu steigern, um die Entwicklung umfangreicher paralleler Computing-Infrastrukturen zu befördern. Diese sind um zwei Größenordnungen schneller als derzeitige Supercomputer. Die Projektpartner analysierten, entwarfen und implementierten Kontrollmechanismen für Cross-Layer-Anweisungen, Laufzeitrückmeldungen, Benachrichtigungen und Versendung von Input/Output (I/O)-Funktionalität im gesamten I/O-Software-Stack. Sie entwickelten ein Prototyp-Control-Backplane, das als Publish/Subscribe-System fungiert, sowie eine verteilte Monitoring-Infrastruktur, um beliebig viele Metriken systemweit zu verbreiten, zu filtern und zu aggregieren. Zur Verbesserung der Skalierbarkeit und Resilienz bei I/O-Software-Stacks wurden Algorithmen analysiert und Mechanismen und Richtlinien für die adaptive Steuerung des Speicher-I/O-Datenpfades entworfen und implementiert. U.a. umfasst dies ein Puffersubstrat und ein Set neuer Abstraktionen für die Datenebene. Implementiert wurden zwei kollektive I/O-Methoden, wobei die Datenbereitstellung vom Backplane gesteuert werden kann. Das CLARISSE-Team analysierte und entwickelte Techniken für die Freilegung und Nutzung von Datenlokalitäten im gesamten I/O-Software-Stack, um den Datenverkehr für die I/O- Speicherung zu reduzieren und die Leistung zu steigern. Die Ergebnisse zeigen, dass der I/O-Verkehr durch Reduzierung von Datenlokalitäten und rechnerische Last erheblich verringert werden kann, während Leistung und Skalierbarkeit besser sind als bei bisherigen Systemen. Das Projekt stellte lokalitätsspezifische Planungsleitlinien für wissenschaftliche Workflows vor, mit dem Daten und Aufgabenstellungen unterschiedlicher Genauigkeit besser kontrolliert werden können. CLARISSE verbesserte wesentlich die Koordination des Datenmanagements auf verschiedenen Systemebenen. Mit den neuen Technologien können Leistungsfähigkeit und Skalierbarkeit paralleler wissenschaftlicher und technischer Anwendungen für Klimamodellierung, Materialdesign, Astrophysik, Genetik und Biotechnologie erhöht werden.
Schlüsselbegriffe
CLARISSE, Cross-Layer-Abstraktionen, Laufzeit, Software-Stack, Extremsysteme
