Usługi w chmurze wspierają rozwój aplikacji wykorzystujących uczenie maszynowe
Europejskie grupy badawcze mają coraz większe nadzieje związane z możliwościami wykorzystywania chmur obliczeniowych zarówno w celu magazynowania danych, jak i ich przetwarzania. Zwykle stosowanie takich rozwiązań wymagałoby zajmowania się niskopoziomową konfiguracją poszczególnych maszyn, która jest długim i trudnym procesem wymagającym zaangażowania specjalistów. Na szczęście dzięki zespołowi finansowanego przez Unię Europejską projektu DEEP-HybridDataCloud pojawiła się alternatywa. Inni dostawcy usług chmurowych zapewniają wyłącznie dostęp do zasobów sprzętowych. Zespół projektu opracował jednak wysokopoziomowe rozwiązanie i usługi wspomagające badania – oprogramowanie pozwalające na opracowywanie, wykorzystywanie i udostępnianie aplikacji analizujących dane, wymagających olbrzymich mocy obliczeniowych. Wypracowane przez zespół elementy pozwalają na uproszczenie cyklu rozwoju aplikacji wykorzystujących sztuczną inteligencję, uczenie maszynowe i głębokie uczenie. Usługi dostarczane przez zespół zapewniają również przejrzysty dostęp do e-infrastruktur Unii Europejskiej oraz wyspecjalizowanego sprzętu (takiego jak akceleratory), ukrywając przed użytkownikami ich złożoność. Realizowany projekt opiera się na osiągnięciach prac zespołu inicjatywy INDIGO-DataCloud. Opinie i informacje zwrotne przekazane przez użytkowników końcowych pozwoliły badaczom skupionym w konsorcjum DEEP-HybridDataCloud na opracowanie technologii niezbędnej do zaspokojenia ich potrzeb. „Wykorzystujemy hybrydowy model usług w chmurze”, wyjaśnia koordynator projektu Álvaro López García. „Chcemy bezproblemowo koncentrować w jednym miejscu zasoby różnych chmur prywatnych i publicznych, umożliwiając ich wykorzystywanie użytkownikom końcowym”.
Z myślą o wszystkich
Zespół projektu określił trzy kategorie użytkowników, dzieląc ich pod względem wiedzy na temat nauki, uczenia maszynowego oraz technologii. Pierwsza opisana przez naukowców grupa charakteryzuje się dogłębną wiedzą na temat własnego obszaru badawczego i problemu, który może być rozwiązany za pomocą działających w chmurze modeli wykorzystujących technologię uczenia maszynowego, dostępnych dzięki projektowi. Tacy użytkownicy będą korzystali z systemu na zasadzie czarnej skrzynki oferującej wymagane funkcjonalności – bez potrzeby zdobywania wiedzy na temat tego, jak działają poszczególne modele. Druga grupa posiada wiedzę na temat swojej dziedziny nauki oraz uczenia maszynowego. Zwykle określenie to będzie dotyczyło analityków danych, pracujących nad własnymi aplikacjami wykorzystującymi uczenie głębokie. Przedstawiciele tej grupy wiedzą doskonale, jakiego sprzętu wymaga ich aplikacja, jednak nie chcą przejmować się jego pozyskiwaniem lub konfiguracją. Projekt zapewnia im narzędzia platformowe, które pozwalają im na określenie wymagań dotyczących sprzętu lub procesu szkolenia. Ostatnia z opisanych grup zna doskonale wszystkie trzy obszary. Dotyczy to osób budujących aplikacje naukowe wykorzystujące uczenie maszynowe, które potrafią określić swoje wymagania w zakresie infrastruktury. Projekt pozwala im na kompleksowy dostęp do wszystkich rozwiązań chmurowych.
Testowanie w różnych zastosowaniach naukowych
Dostępne usługi zostały przetestowane przez szereg grup badawczych. Opracowane dotychczas oprogramowanie udostępniono w publicznym katalogu DEEP Open Catalog. Mogą z niego korzystać przedstawiciele różnych środowisk i grup naukowych, w tym naukowcy zajmujący się nauką obywatelską, monitorowaniem różnorodności biologicznej oraz identyfikowaniem gatunków, a także rozpoznawaniem wzorców w obrazach satelitarnych. Kolejne obszary zastosowań obejmują cyberbezpieczeństwo oraz monitorowanie i wykrywanie zagrożeń sieciowych, a także moduły testowe systemu DEEP oraz komponenty wielofunkcyjne. „Najważniejszym rezultatem naszego projektu jest uwzględnienie naszych usług na portalu europejskiej chmury dla otwartej nauki”, dodaje López García. „Dzięki temu staliśmy się dostawcą usług w zakresie uczenia maszynowego w ramach tej inicjatywy”. Zespół będzie nadal wspierał istniejące usługi, jednocześnie opracowując nowe funkcje w odpowiedzi na zapotrzebowanie użytkowników i poszukując możliwości komercjalizacji rozwiązania. Trwające prace ułatwią rozwój aplikacji wykorzystujących algorytmy uczenia maszynowego, wspierających europejskie badania naukowe.
Słowa kluczowe
DEEP-HybridDataCloud, uczenie maszynowe, aplikacje, naukowe, usługi w chmurze, hybrydowe, analitycy danych, europejska chmura dla otwartej nauki
