Zoptymalizowane rozproszone systemy przechowywania dla skuteczniejszego magazynowania danych
W ramach finansowanego z funduszy UE projektu ATOMICDFS (Seeking efficient atomic implementations of distributed data storage) sprawdzono możliwość istnienia wydajnych i wysoce spójnych rozproszonych systemów plików w środowiskach asynchronicznych, gdzie podatne na błędy procesy porozumiewają się w drodze wymiany komunikatów. Partnerzy projektu opracowali wydajne algorytmy dla atomowych obiektów plikowych. W pierwszej kolejności badacze zidentyfikowali słabe strony obecnych algorytmów spójności atomowej, które wspierają tego typu obiekty, a następnie zniwelowali te niedoskonałości poprzez zdefiniowanie nowej właściwości występujących jednocześnie obiektów. Właściwość tę określono mianem pokrywalności. Precyzyjnie określa ona ewolucję obiektów wersjonowanych (w tym obiektów plikowych), skutkując powstaniem pojedynczej ścieżki prowadzącej od pierwotnej wersji obiektu do jego dowolnej zapisanej wersji. Na kolejnym etapie badań uczeni skupili się na redukcji kosztów obliczeniowych i komunikacyjnych w algorytmach obsługujących atomowe obiekty plikowe. W sumie wdrożono pięć nowych algorytmów, które zmniejszają wymogi w zakresie możliwości obliczeniowych przy jednoczesnym zachowaniu spójności danych. Aby ograniczyć wymogi komunikacyjne, zespół projektu ATOMICDFS rozważył możliwość zastosowania trzech różnych technik fragmentacji. Pierwsza z nich obejmowała prosty podział danych na bloki, druga – na bloki kodowane z wykorzystaniem metody erasure coding, podczas gdy trzecia opierała się na rejestrach (dziennikach) operacji. Na ostatnim etapie projektu jego uczestnicy wybrali kilka zaproponowanych algorytmów, a następnie wdrożyli je w obrębie symulacji oraz w środowisku rzeczywistym. Do celów pierwszego zastosowania opracowano sześć algorytmów, natomiast do drugiego – dwa. Wyniki doświadczeń nie tylko wykazały, że nowo przyjęte rozwiązania są bardziej skuteczne od tych dotychczas stosowanych, lecz także dowiodły możliwości praktycznego zastosowania spójnych systemów przechowywania danych. Zespół opracował także wstępny, działający prototyp rozproszonego systemu plików wykorzystującego dzienniki operacji. Prototyp ten oparto na opracowanej w ramach projektu architekturze systemu rozproszonego rejestrującego przeprowadzone operacje w dziennikach. Inicjatywa ATOMICDFS przyczyniła się do rozwoju praktycznych systemów plików, które zapewniają magazynowanym danym precyzyjną i możliwą do udowodnienia gwarancję spójności. Rozproszone systemy przechowywania stanowią wysoce niezawodne, spójne, zdolne do współpracy, funkcjonalne i globalne rozwiązanie, które już wkrótce może stać się rzeczywistością. Dzięki osiągnięciom projektu Europa stała się pionierem w dziedzinie aplikacji przeznaczonych do pracy zespołowej i jest coraz bliżej stworzenia globalnej platformy obliczeniowej.
Słowa kluczowe
Rozproszone systemy przechowywania, magazynowanie danych, ATOMICDFS, operacje atomowe, rozproszone systemy plików
