Elastic Coordination for Scalable Machine Learning

Informations projet

ScaleML

N° de convention de subvention: 805223

DOI

10.3030/805223

Projet clôturé

Date de signature de la CE 17 Octobre 2018

Date de début 1 Mars 2019

Date de fin 29 Février 2024

Financé au titre de

• EXCELLENT SCIENCE - European Research Council (ERC)

Coût total

€ 1 494 121,00

Contribution de l’UE

€ 1 494 121,00

Coordonné par

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Austria

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Conference proceedings (18)

On the sample complexity of adversarial multi-source PAC learning

Auteurs: Nikola Konstantinov, Elias Frantar, Dan Alistarh, Christoph H. Lampert
Publié dans: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), 2020
Éditeur: PMLR

Taming unbalanced training workloads in deep learning with partial collective operations

Auteurs: Shigang Li, Tal Ben-Nun, Salvatore Di Girolamo, Dan Alistarh, Torsten Hoefler
Publié dans: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Page(s) 45-61, ISBN 9781450368186
Éditeur: ACM
DOI: 10.1145/3332466.3374528

The splay-list: a distribution-adaptive concurrent skip-list

Auteurs: Vitaly Aksenov, Dan Alistarh, Alexandra Drozdova, Amirkeivan Mohtashami
Publié dans: Proceedings of the 34th International Symposium on Distributed Computing (DISC 2020), 2020
Éditeur: LIPIcs
DOI: 10.4230/lipics.disc.2020.3

Non-blocking interpolation search trees with doubly-logarithmic running time

Auteurs: Trevor Brown, Aleksandar Prokopec, Dan Alistarh
Publié dans: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Page(s) 276-291, ISBN 9781450368186
Éditeur: ACM
DOI: 10.1145/3332466.3374542

AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks

Auteurs: Alexandra Peste, Eugenia Iofinova, Adrian Vladu, Dan Alistarh
Publié dans: NeurIPS Proceedings, 2021
Éditeur: NeurIPS

Towards Tight Communication Lower Bounds for Distributed Optimisation

Auteurs: Janne Korhonen, Dan Alistarh
Publié dans: Proceedings of the 35th Conference on Neural Information Processing Systems (NeurIPS 2021), 2021
Éditeur: NeurIPS

Efficiency guarantees for parallel incremental algorithms under relaxed schedulers

Auteurs: Dan Alistarh, Nikita Koval, Giorgi Nadiradze
Publié dans: 31st ACM Symposium on Parallelism in Algorithms and Architectures, 2019, Page(s) 145-154, ISBN 9781450361842
Éditeur: ACM
DOI: 10.1145/3323165.3323201

Byzantine-Resilient Non-Convex Stochastic Gradient Descent

Auteurs: Zeyuan Allen-Zhu, Faeze Ebrahimianghazani, Jerry Li, Dan Alistarh
Publié dans: Proceedings of the International Conference on Learning Representations (ICLR), 2021
Éditeur: Openreview

Powerset convolutional neural networks

Auteurs: Chris Wendler, Dan Alistarh, Markus Püschel
Publié dans: Proceedings of the Conference on Neural Information Processing Systems (NeurIPS), Numéro 32, 2019, Page(s) 927-938
Éditeur: NIPS: Conference on Neural Information Processing Systems

WoodFisher: Efficient Second-Order Approximation for Neural Network Compression

Auteurs: Sidak Pal Singh, Dan Alistarh
Publié dans: Proceedings of the International Conference on Neural Information Processing Systems, 2020
Éditeur: NeurIPS

Communication-Efficient Federated Learning With Data and Client Heterogeneity

Auteurs: Hossein Zakerinia, Shayan Talaei, Giorgi Nadiradze, Dan Alistarh
Publié dans: Proceedings of AISTATS 2024, 2024
Éditeur: PMLR

Asynchronous Decentralized SGD with Quantized and Local Updates

Auteurs: Giorgi Nadiradze, Amirmojtaba Sabour, Peter Davies, Shigang Li, Dan Alistarh
Publié dans: NeurIPS Proceedings, 2021
Éditeur: NeurIPS Proceedings

Lower Bounds for Shared-Memory Leader Election under Bounded Write Contention

Auteurs: Dan Alistarh, Rati Gelashvili, Giorgi Nadiradze
Publié dans: Proceedings of the 35th International Symposium on Distributed Computing (DISC 2021), 2021, Page(s) 4:1--4:17
Éditeur: "Schloss Dagstuhl -- Leibniz-Zentrum f{\""u}r Informatik"
DOI: 10.4230/lipics.disc.2021.4

Relaxed Scheduling for Scalable Belief Propagation

Auteurs: Vitaly Aksenov, Janne Korhonen, Dan Alistarh
Publié dans: Proceedings of the 36th International Conference on Neural Information Processing Systems, 2020
Éditeur: NeurIPS

L-GreCo: Layerwise-Adaptive Gradient Compression for Efficient and Accurate Deep Learning

Auteurs: Mohammadreza Alimohammadi, Ilia Markov, Elias Frantar, Dan Alistarh
Publié dans: Proceedings of MLSys 2024, 2024
Éditeur: MLSys

SparCML - high-performance sparse communication for machine learning

Auteurs: Cedric Renggli, Saleh Ashkboos, Mehdi Aghagolzadeh, Dan Alistarh, Torsten Hoefler
Publié dans: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Page(s) 1-15, ISBN 9781450362290
Éditeur: ACM
DOI: 10.1145/3295500.3356222

New Bounds For Distributed Mean Estimation and Variance Reduction

Auteurs: Peter Davies, Vijaykrishna Gurunathan, Niusha Moshrefi, Saleh Ashkboos, Dan Alistarh
Publié dans: Proceedings of the International Conference on Learning Representations, 2021
Éditeur: Openreview

Dynamic averaging load balancing on cycles

Auteurs: Dan Alistarh, Giorgi Nadiradze, Amirmojtaba Sabour
Publié dans: Leibniz International Proceedings in Informatics, Numéro 168/7, 2020, ISBN 9783959771382
Éditeur: Schloss Dagstuhl - Leibniz-Zentrum für Informatik
DOI: 10.4230/lipics.icalp.2020.7

Peer reviewed articles (1)

Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging

Auteurs: Shigang Li, Tal Ben-Nun, Giorgi Nadiradze, Salvatore Digirolamo, Nikoli Dryden, Dan Alistarh, Torsten Hoefler
Publié dans: IEEE Transactions on Parallel and Distributed Systems, 2020, Page(s) 1-1, ISSN 1045-9219
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2020.3040606