Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch Deutsch
CORDIS - Forschungsergebnisse der EU
CORDIS

Distributed learning based on 1-bit gradient coding

Projektbeschreibung

Lösungen für schnelleres verteiltes Lernen

Im Bereich des verteilten Lernens bestehen zwei große Herausforderungen: Verzögerungen durch langsamere Arbeiter, sogenannte Nachzügler, und hohe Kommunikationskosten aufgrund der Übertragung großer Datenmengen. Gradientenkodierung kann bei Nachzüglern helfen, während die Anwendung von 1-Bit-Daten die Kommunikationslasten verringert. Mit den heute üblichen Methoden werden jedoch nicht beide Probleme gleichzeitig gelöst, was insbesondere für die Übertragung von 1-Bit-Daten gilt. Bei den vorhandenen Gradientenkodierungsverfahren gibt es auch Schwierigkeiten, mit 1-Bit-kodierten Vektoren zu arbeiten. Das Team des innerhalb der Marie-Skłodowska-Curie-Maßnahmen unterstützten Projekts 1-Bit GC-DL geht diese Probleme an, indem neue Ansätze für verteiltes Lernen entwickelt werden. Es wird die 1-Bit GC-DL-Methode eingeführt, bei der 1-Bit-Gradientenkodierung dazu dient, Nachzügler zu behandeln und gleichzeitig die Datengröße zu reduzieren. Zusätzlich wird mit einer zweiten Methode, 1-Bit LA-GC-DL, die Trainingszeit weiter verkürzt, wobei nur die wichtigsten Arbeiter für jede Iteration ausgewählt werden.

Ziel

In the framework of distributed learning, to mitigate the negative impact of the stragglers on the training time, the gradient coding (GC) technique has been adopted. On the other hand, to deal with high communication burden in distributed learning, 1-bit gradient vectors can be transmitted instead of real-valued ones. However, the existing distributed learning method based on 1-bit data does not take stragglers into account. In addition, current GC techniques are only designed for the distributed learning scheme where real-valued encoded vectors are transmitted and it is difficult to apply them under the case where 1-bit vectors are transmitted.

To overcome the above drawbacks and to reduce the communication overhead and the training time simultaneously, this project aims to propose novel distributed learning methods based on GC with 1-bit data. First, this project will propose a distributed learning method named 1-Bit GC-DL, which develops a 1-bit GC strategy to encode the locally computed gradient vectors of the allocated subsets into 1-bit data. Based on that, the aggregation rule at the central server for the received 1-bit data will be designed, which guarantees that the central server computes an approximated version of the true gradient vector in the presence of a certain number of stragglers to. Second, to further reduce the training time of 1-Bit GC-DL, this project will propose a lazily aggregated distributed learning method based on 1-bit GC, i.e. 1-Bit LA-GC-DL, by combining 1-Bit GC-DL with the lazily aggregated strategy. In 1-Bit LA-GC-DL, only a fraction of the workers participate in local training during each iteration and this project will provide the criterion for selecting the participating workers based on Age of Information. The proposed methods will be compared with other state-of-the-art methods in the context of distributed learning on both simulated and realistic datasets under practical scenarios.

Schlüsselbegriffe

Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).

Programm/Programme

Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.

Thema/Themen

Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.

Finanzierungsplan

Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.

(öffnet in neuem Fenster) HORIZON-MSCA-2023-PF-01

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

KUNGLIGA TEKNISKA HOEGSKOLAN
Netto-EU-Beitrag

Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.

€ 206 887,68
Adresse
BRINELLVAGEN 8
100 44 STOCKHOLM
Schweden

Auf der Karte ansehen

Region
Östra Sverige Stockholm Stockholms län
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten

Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.

Keine Daten
Mein Booklet 0 0