EGI-INSPIRE: budowanie cyfrowej europejskiej przestrzeni badawczej od podstaw
Obecnie prowadzenie badań naukowych nie zamyka się już w granicach państwowych – przeogromna ilość danych naukowych z symulacji obliczeniowych i instrumentów w międzynarodowych ośrodkach oznacza, że naukowcy w coraz większym stopniu zaczynają polegać na transgranicznym przetwarzaniu rozproszonym i zasobach pamięciowych na potrzeby wielkoskalowej analizy danych. Zadanie postawione przed projektem EGI-INSPIRE polegało na zbudowaniu zrównoważonej europejskiej infrastruktury gridowej (EGI) poprzez skupienie krajowych inicjatyw gridowych (NGI) i innych organizacji z całej UE. W to wspólne przedsięwzięcie zaangażowało się ponad 50 instytucji. Pierwotnym impulsem do podjęcia prac nad projektem EGI-INSPIRE było potężne zapotrzebowanie na moc obliczeniową użytkowników dużych zbiorów danych w CERN – Europejskiej Organizacji Badań Jądrowych – gdzie fizycy przyjęli paradygmat przetwarzania rozproszonego na skalę światową, aby znaleźć rozwiązanie problemów dużych zbiorów danych. Wykorzystali EGI do przeanalizowania danych z Wielkiego Zderzacza Hadronów, co zaowocowało odkryciem nieuchwytnego bozonu Higgsa. „Wkrótce po naszym początkowym sukcesie zdaliśmy sobie sprawę, że nasz model mógłby zostać powielony, by posłużyć każdej paneuropejskiej społeczności badawczej, która staje w obliczu problemu skalowalnego dostępu do dużych zbiorów danych: od infrastruktur badawczych po długi ogon nauki” – zauważyła Tiziana Ferrari, dyrektor techniczna EGI.eu. Największa na świecie infrastruktura przetwarzania rozproszonego Model został powielony na tak szeroką skalę, że pod względem zasięgu geograficznego, EGI jest obecnie największą infrastrukturą przetwarzania rozproszonego na świecie. Za pośrednictwem EGI-INSPIRE, EGI oferuje użytkownikom wysoko wydajną, rozproszoną analizę danych poprzez federację mocy obliczeniowej, zasobów pamięciowych i zdolności zarządzania danymi 350 stowarzyszonych centrów danych i 21 dostawców usług w chmurze obliczeniowej na świecie. Kluczem do tego sukcesu była federacja: bezpiecznego dostępu do danych, wysoko wydajnej analizy, przetwarzania w chmurze, przechowywania w chmurze oraz biblioteki narzędzi, aplikacji naukowych i oprogramowania za pośrednictwem jednego zestawu danych uwierzytelniających użytkownika. Projekt EGI-INSPIRE odegrał zasadniczą rolę w osiągnięciu tego wszystkiego. W ramach EGI społeczności badawcze mogą dążyć do federacji własnych danych i infrastruktur obliczeniowych, zwiększać ich skalę w celu podwyższenia istniejącej przepustowości albo po prostu uzyskać grant z centralnie zarządzanej puli. Nie tylko sprzęt i oprogramowanie Znacząca część pracy EGI polega na zarządzaniu usługami: harmonizowaniu strategii i procesów operacyjnych wszystkich członków federacji. W tym właśnie kontekście zróżnicowanie w ramach Europy stanowi zarówno wyzwanie, jak i zaletę. Osiągnięcie porozumienia w zakresie minimalnego zestawu standardowych strategii i procedur nie jest łatwe, ale po jego osiągnięciu w ramach UE federacja może z łatwością być powiększana o kraje spoza UE. W związku z tym federacja obejmuje obecnie e-infrastruktury z 57 krajów, reprezentujących niemal każdy zakątek świata. Oddziaływanie EGI szybko rozrosła się do takich rozmiarów, że teraz dysponuje łącznie 650 000 rdzeni CPU i 300 petabajtami przestrzeni dyskowej, obsługuje 38 000 użytkowników i wykonuje 1,5 miliona zadań obliczeniowych dziennie. Infrastruktura wykroczyła także poza swoje początki, bowiem świadczy usługi na rzecz naukowców i badaczy z nauk przyrodniczych, inżynierii, medycyny, zdrowia, rolnictwa i nauk humanistycznych. Wszystko to umożliwiło publikację ponad 2 000 recenzowanych prac naukowych. Projekt EGI-INSPIRE, realizowany od 1 maja 2010 r. do 31 grudnia 2014 r., otrzymał 25 mln EUR dofinansowania ze środków UE. Prace prowadzone przez partnerów EGI-INSPIRE będą kontynuowane i dalej rozwijane w ramach projektu EGI-ENGAGE. „Zaobserwowaliśmy, że niemal 25% mocy obliczeniowej, do której naukowcy i badacze uzyskują dostęp, znajduje się poza ich krajem” – stwierdziła Ferrari. „Naszym zdaniem to sugeruje, że istnieją duże możliwości w zakresie współpracy międzynarodowej”. Link do strony internetowej projektu
Słowa kluczowe
Przetwarzanie rozproszone, chmura, e-infrastruktura, EGI, krajowe inicjatywy gridowe, duże zbiory danych, przetwarzanie, cyfrowa europejska przestrzeń badawcza, Open Science Commons, UE, CORDIS