Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS

Distributed learning based on 1-bit gradient coding

Description du projet

Solutions pour un apprentissage distribué plus rapide

L’apprentissage distribué est confronté à deux défis majeurs: les retards causés par les travailleurs plus lents, appelés «traînards», et les coûts de communication élevés liés à l’envoi de données volumineuses. Le codage par gradient (CG) peut aider concernant les traînards, tandis que l’utilisation de données à 1 bit réduit les charges de communication. Toutefois, les méthodes actuelles ne permettent pas de résoudre les deux problèmes à la fois, en particulier lors de la transmission de données 1 bit. Les techniques de CG existantes ont également du mal à fonctionner avec des vecteurs codés sur 1 bit. Soutenu par le programme Actions Marie Skłodowska-Curie, le projet 1-Bit GC-DL s’attaque à ces problèmes en développant de nouvelles approches pour l’apprentissage distribué. Il présente la méthode 1-Bit GC-DL, qui utilise le codage par gradient à 1 bit pour gérer les traînards tout en réduisant la taille des données. En outre, une deuxième méthode, 1-Bit LA-GC-DL, réduit encore le temps de formation en sélectionnant uniquement les travailleurs clés pour chaque itération.

Objectif

In the framework of distributed learning, to mitigate the negative impact of the stragglers on the training time, the gradient coding (GC) technique has been adopted. On the other hand, to deal with high communication burden in distributed learning, 1-bit gradient vectors can be transmitted instead of real-valued ones. However, the existing distributed learning method based on 1-bit data does not take stragglers into account. In addition, current GC techniques are only designed for the distributed learning scheme where real-valued encoded vectors are transmitted and it is difficult to apply them under the case where 1-bit vectors are transmitted.

To overcome the above drawbacks and to reduce the communication overhead and the training time simultaneously, this project aims to propose novel distributed learning methods based on GC with 1-bit data. First, this project will propose a distributed learning method named 1-Bit GC-DL, which develops a 1-bit GC strategy to encode the locally computed gradient vectors of the allocated subsets into 1-bit data. Based on that, the aggregation rule at the central server for the received 1-bit data will be designed, which guarantees that the central server computes an approximated version of the true gradient vector in the presence of a certain number of stragglers to. Second, to further reduce the training time of 1-Bit GC-DL, this project will propose a lazily aggregated distributed learning method based on 1-bit GC, i.e. 1-Bit LA-GC-DL, by combining 1-Bit GC-DL with the lazily aggregated strategy. In 1-Bit LA-GC-DL, only a fraction of the workers participate in local training during each iteration and this project will provide the criterion for selecting the participating workers based on Age of Information. The proposed methods will be compared with other state-of-the-art methods in the context of distributed learning on both simulated and realistic datasets under practical scenarios.

Mots‑clés

Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).

Programme(s)

Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.

Thème(s)

Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.

Régime de financement

Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2023-PF-01

Voir tous les projets financés au titre de cet appel

Coordinateur

KUNGLIGA TEKNISKA HOEGSKOLAN
Contribution nette de l'UE

La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.

€ 206 887,68
Adresse
BRINELLVAGEN 8
100 44 STOCKHOLM
Suède

Voir sur la carte

Région
Östra Sverige Stockholm Stockholms län
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total

Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.

Aucune donnée
Mon livret 0 0