Ausweitung von HPC auf Cloud-Computing und Big Data
Immer mehr Nutzer von Hochleistungsrechnern (HPC) kombinieren HPC mit Big Data und Cloud-Infrastruktur, um darüber einheitliche Management-Plattformen und Paradigmen anzuwenden. Als Reaktion auf diesen Bedarf hat das EU-finanzierte Projekt BRIGHT-BEYOND HPC die Fähigkeiten von Bright Computing ausgeweitet. Dieses niederländische Unternehmen liefert umfassende Software-Lösungen für die Bereitstellung und das Management von HPC-Clustern und privaten Clouds in OpenStack. „Wir sehen, dass der Einsatz und die Nutzung dieser fortschrittlichen Technologien sich nicht nur ausweitet, sondern auch konvergiert, und im Rahmen dieses Projekts konnte Bright Computing eine leistungsstarke, integrierte Management-Plattform aus einer Hand liefern, die IT-Organisationen dabei hilft, Sichtbarkeit und Kontrolle zu gewinnen und zugleich den eigenen Rahmen abzustecken“, meint Dr. Matthijs van Leeuwen, Chief Strategy Officer bei Bright Computing. Ziel des Projekts war es, das Cluster-Management-Problem von HPC, Big Data/Hadoop- und OpenStack-Cloud-Computing zu lösen, indem Bright Beyond HPC weiterentwickelt und für den Markt bereit gemacht wird. „Der Bright Cluster Manager von Bright Computing hat eine sehr starke Präsenz am Markt für HPC“, erläutert Dr. van Leeuwen. „Das Ziel dieses Projekts war es, den Bright Cluster Manager zu erweitern und an zwei wichtigen aufstrebenden Märkten nutzbar zu machen, nämlich für Cloud-Computing und Big Data.“ Cloud-Computing Zunächst wurde der Bright Cluster Manager genutzt, um umfangreiche Computer-Cluster zu verwalten, die gemeinschaftlich komplexe wissenschaftliche, technische, ingenieurwissenschaftliche oder finanzielle Probleme lösen. Die Funktionalität des Produkts war jedoch begrenzt, da die von ihm verwalteten Cluster aus Computern bestanden, die sich physisch in einem Unternehmen oder einer Organisation befanden. Mit dem Aufkommen von Cloud-Computing erledigten die Interessengruppen immer mehr ihrer Computertätigkeiten „in der Cloud“. OpenStack ist eine handelsübliche Cloud-Management-Software, die in der Branche für die Einrichtung öffentlicher und privater Clouds genutzt wird. „Dass wir in der Lage sind, ein lokales Bright-Cluster auf eine OpenStack-Cloud zu erweitern, und zwar sowohl innerhalb einer Organisation als auch extern, ist ein großer Meilenstein dieses Projekts“, so Dr. van Leeuwen. Nach seinen Angaben ermöglicht dies dem Nutzer, Cluster von Computern innerhalb einer Organisation mit Computern zu kombinieren, die in einer Cloud verfügbar sind. Auch wenn der Nutzer dafür vorrangig seine eigenen Computer nutzt, hat er, wenn Hochrechnungsleistungen benötigt werden, auch Zugang zu Cloud-Computern, einschließlich Amazon Web Services (AWS) und Microsoft Azure Clouds (als Ergänzung zu privaten und ausgewählten öffentlichen OpenStack-Clouds). Big Data Nach demselben Muster wurden für Big Data große Mengen an Daten traditionell durch Computer-Cluster analysiert. Die Management- und Anwendungssoftware für Big Data unterscheidet sich jedoch von der, die für HPC-Cluster verwendet wird, darin, dass sie dazu dienen soll, große Datenmengen zu verschieben und diese zu durchsuchen (anstatt zahlreiche Berechnungen durchzuführen). Das wichtigste Tool, das für die Verwaltung von Big-Data-Clustern genutzt wird, ist Apache Hadoop, eine Open-Source-Software. Durch die Einbindung von Hadoop in den Bright Cluster Manager können Organisationen jetzt System-Cluster verwalten, die sowohl HPC- als auch Big-Data-orientierte Computer umfassen. Dies kann zum Beispiel von Forschungsorganisationen genutzt werden, die Daten aus Experimenten in einem Hadoop-Cluster analysieren und mit theoretischen Modellen vergleichen, die mit HPC-Computern errechnet wurden. „Die Industrie ist oft zögerlich, wenn es darum geht Open-Source-Software zu nutzen, weil es an professioneller Unterstützung mangelt“, meint Dr. van Leeuwen. „BRIGHT-BEYOND HPC ergänzt die Software um eine solche branchenspezifische Unterstützung, so dass der Bright Cluster Manager nun von Organisationen genutzt werden kann, die Big-Data-Cluster verwalten wollen, aber auch einen gewissen Support dafür brauchen.“ Die nächste Ebene Als Partner der European Technology Platform for High Performance Computing (ETP4HPC) spielt das Projekt BRIGHT-BEYOND HPC eine wichtige Rolle, wenn es darum geht, HPC auf die nächste Ebene in Europa zu heben. Diese nächste Ebene ist die Softwareversion 8.1 des Bright Cluster Managers, die derzeit bei bestehenden und neuen Kunden eingeführt wird. Zwischenzeitlich geht die Arbeit weiter, und die Projektforscher widmen sich neuen Entwicklungen, einschließlich künstlicher Intelligenz.
Schlüsselbegriffe
BRIGHT-BEYOND HPC, Bright Computing, Cloud-Computing, Big Data, Hochleistungsrechnen, Europäische Union EU
