Opis projektu
Rozwiązania przyspieszające uczenie rozproszone
Uczenie rozproszone wiąże się z dwoma głównymi wyzwaniami: opóźnieniami powodowanymi przez wolniejszych pracowników, zwanych maruderami, oraz wysokimi kosztami komunikacji związanymi z przesyłaniem dużych ilości danych. Kodowanie gradientowe (GC) może pomóc w poradzeniu sobie z maruderami, podczas gdy użycie danych 1-bitowych zmniejsza obciążenie komunikacyjne. Obecne metody nie pozwalają jednak na jednoczesne rozwiązanie obu problemów, zwłaszcza w przypadku przesyłania danych 1-bitowych. Istniejące techniki GC nie radzą sobie także z wektorami kodowanymi 1-bitowo. Wspierany przez program działań „Maria Skłodowska-Curie” projekt 1-Bit GC-DL rozwiązuje te problemy, opracowując nowe podejścia do uczenia rozproszonego. Wprowadza metodę 1-Bit GC-DL, która wykorzystuje 1-bitowe kodowanie gradientowe do zarządzania maruderami przy jednoczesnym zmniejszeniu rozmiaru danych. Druga metoda, 1-Bit LA-GC-DL, dodatkowo skraca czas szkolenia, wybierając tylko kluczowych pracowników dla każdej iteracji.
Cel
In the framework of distributed learning, to mitigate the negative impact of the stragglers on the training time, the gradient coding (GC) technique has been adopted. On the other hand, to deal with high communication burden in distributed learning, 1-bit gradient vectors can be transmitted instead of real-valued ones. However, the existing distributed learning method based on 1-bit data does not take stragglers into account. In addition, current GC techniques are only designed for the distributed learning scheme where real-valued encoded vectors are transmitted and it is difficult to apply them under the case where 1-bit vectors are transmitted.
To overcome the above drawbacks and to reduce the communication overhead and the training time simultaneously, this project aims to propose novel distributed learning methods based on GC with 1-bit data. First, this project will propose a distributed learning method named 1-Bit GC-DL, which develops a 1-bit GC strategy to encode the locally computed gradient vectors of the allocated subsets into 1-bit data. Based on that, the aggregation rule at the central server for the received 1-bit data will be designed, which guarantees that the central server computes an approximated version of the true gradient vector in the presence of a certain number of stragglers to. Second, to further reduce the training time of 1-Bit GC-DL, this project will propose a lazily aggregated distributed learning method based on 1-bit GC, i.e. 1-Bit LA-GC-DL, by combining 1-Bit GC-DL with the lazily aggregated strategy. In 1-Bit LA-GC-DL, only a fraction of the workers participate in local training during each iteration and this project will provide the criterion for selecting the participating workers based on Age of Information. The proposed methods will be compared with other state-of-the-art methods in the context of distributed learning on both simulated and realistic datasets under practical scenarios.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) HORIZON-MSCA-2023-PF-01
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaKoordynator
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
100 44 Stockholm
Szwecja
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.