Skip to main content
CORDIS - Forschungsergebnisse der EU
CORDIS

Designing and Enabling E-infrastructures for intensive Processing in a Hybrid DataCloud

Article Category

Article available in the following languages:

Cloud-Dienste unterstützen die Anwendungsentwicklung im Bereich des maschinellen Lernens

Die Programmierung gewöhnlicher Software ist ein schwieriges Unterfangen. Für Supercomputer-Anwendungen mit maschinellem Lernen gestaltet sich die Programmierung so komplex, dass selbst Sachverständige Hilfe benötigen.

Digitale Wirtschaft icon Digitale Wirtschaft

Europäische Forschungsgruppen hoffen verstärkt auf die Nutzung von Cloud-Rechendiensten, zum Beispiel in den Bereichen Verarbeitungs- oder Speichertätigkeiten oder bei einer Kombination aus beiden. Hierzu ist normalerweise eine Gerätekonfiguration auf unterer Ebene erforderlich – ein langwieriges und schwieriges Verfahren, das spezielles Personal voraussetzt. Das EU-finanzierte Projekt DEEP-HybridDataCloud entwickelte eine Alternative. Während andere Cloud-Dienste im Wesentlichen den Zugang zu Hardware-Ressourcen ermöglichen, wurden im Rahmen dieses Projekts Dienste auf hoher Ebene mit Recherchemöglichkeiten entwickelt. Hierzu zählen Software-Komponenten, welche die Entwicklung, Nutzung und gemeinsame Verwendung rechenintensiver Informatikanwendungen ermöglichen. Die Komponenten vereinfachen den Entwicklungslebenszyklus für Anwendungen mit künstlicher Intelligenz, maschinellem Lernen oder tiefem Lernen. Die Dienste bieten ebenfalls transparenten Zugang zu den E-Infrastrukturen der EU und speziellen Hardware-Komponenten (wie bspw. Beschleunigern), während die zugrundeliegende Komplexität verborgen bleibt. Die Projektarbeit baut auf der vorherigen Arbeit von Projekt INDIGO-DataCloud auf. Das während der Initiative gesammelte Feedback der Kundschaft ermöglichte dem Forschungsteam von DEEP-HybridDataCloud die Technologie so zu entwickeln, dass die Erwartungen der Benutzerinnen und Benutzer erfüllt werden. „Wir nutzen das hybride Cloud-Dienst-Modell“, erklärt Projektkoordinator Álvaro López García, „um Ressourcen von verschiedenen privaten und öffentlichen Cloud-Dienstleistungsunternehmen nahtlos zusammenzustellen, damit diese transparent von den Benutzerinnen und Benutzern verwendet werden können.“

Anvisierung unterschiedlicher Gruppen von Benutzerinnen und Benutzern

Das Projektteam ermittelte anhand von Kenntnissen im Bereich Wissenschaft, maschinelles Lernen und Technologie drei Gruppen von Benutzerinnen und Benutzern. Die erste Gruppe hat starke Kenntnisse in ihrem Forschungsfeld und Probleme, die unter Verwendung von Cloud-Layer-Modellen mit maschinellem Lernen, auf welche das Projekt den Zugriff ermöglicht, gelöst werden können. Diese Benutzerinnen und Benutzer interagieren mit einem Black-Box-Dienst, um lediglich die Funktionalität zu erlangen, und müssen nichts darüber wissen, wie die Modelle ausgeführt werden. Eine zweite Gruppe von Benutzerinnen und Benutzern kennt sich in ihrem Forschungsfeld und im Bereich des maschinellen Lernens aus. Solche Anwenderinnen und Anwender sind typischerweise Informatikerinnen und Informatiker, die eine Deep-Learning-Anwendung entwickeln. Diese Gruppe weiß, welche Hardwarebeschleunigung erforderlich ist, möchte sich jedoch nicht mit der Beschaffung oder Konfiguration beschäftigen. Das Projekt stellt diesen Benutzerinnen und Benutzern Tools auf Plattformebene bereit, mit denen sie ihre Hardware- oder Schulungsanforderungen spezifizieren können. Die letzte Gruppe von Benutzerinnen und Benutzern kennt sich in allen drei Bereichen aus. Auch diese Gruppe entwickelt wissenschaftliche Anwendungen im Bereich des maschinellen Lernens, hat jedoch hinreichende technische Stärken, um ihre Infrastrukturanforderungen zu kennen. Das Projekt bietet diesen Anwenderinnen und Anwendern einen maßgeschneiderten Zugriff auf den gesamten Cloud-Stapel.

Erprobung mannigfaltiger wissenschaftlicher Anwendungen

Die Dienste wurden von mehreren Forschungsgruppen erfolgreich verwendet. Die bereits entwickelten Software-Komponenten sind über den öffentlich zugänglichen DEEP Open Catalog des Projekts abrufbar. Diese gehen auf mehrere Wissenschaftszweige ein, darunter die Überwachung der biologischen Vielfalt und die Identifizierung von Arten im Rahmen von Bürgerwissenschaft sowie dazugehörige Erkennungsmuster auf Satellitenbildern. Außerdem werden beispielsweise Themen wie die Überwachung der Cybersicherheit und Bedrohungserkennung in Netzwerken, Module für Tests des DEEP-Framework und Mehrzweckkomponenten abgedeckt. „Unser wichtigstes Endergebnis ist die Einbindung unserer Dienste in das Portal der Europäischen Cloud für offene Wissenschaft“, merkt López García an, „hierdurch wurden wir zum Anbieter von maschinellen Lerndiensten in der Europäischen Cloud für offene Wissenschaft.“ Das Team wird weiterhin Unterstützung für die bestehenden Dienste leisten, während neue von Benutzerinnen und Benutzern geforderte Funktionen entwickelt und kommerzielle Möglichkeiten erschlossen werden. Die weitere Arbeit wird die Entwicklung von Anwendungen im Bereich des maschinellen Lernens zur Unterstützung der wissenschaftlichen Forschung Europas vereinfachen.

Schlüsselbegriffe

DEEP-HybridDataCloud, maschinelles Lernen, Anwendungen, wissenschaftlich, Cloud-Dienst, hybrid, Informatik, Europäische Cloud für offene Wissenschaft

Entdecken Sie Artikel in demselben Anwendungsbereich