Elastic Coordination for Scalable Machine Learning

Projektinformationen

ScaleML

ID Finanzhilfevereinbarung: 805223

DOI

10.3030/805223

Projekt abgeschlossen

EK-Unterschriftsdatum 17 Oktober 2018

Startdatum 1 März 2019

Enddatum 29 Februar 2024

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 1 494 121,00

EU-Beitrag

€ 1 494 121,00

Koordiniert durch

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Austria

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Conference proceedings (18)

On the sample complexity of adversarial multi-source PAC learning

Autoren: Nikola Konstantinov, Elias Frantar, Dan Alistarh, Christoph H. Lampert
Veröffentlicht in: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), 2020
Herausgeber: PMLR

Taming unbalanced training workloads in deep learning with partial collective operations

Autoren: Shigang Li, Tal Ben-Nun, Salvatore Di Girolamo, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Seite(n) 45-61, ISBN 9781450368186
Herausgeber: ACM
DOI: 10.1145/3332466.3374528

The splay-list: a distribution-adaptive concurrent skip-list

Autoren: Vitaly Aksenov, Dan Alistarh, Alexandra Drozdova, Amirkeivan Mohtashami
Veröffentlicht in: Proceedings of the 34th International Symposium on Distributed Computing (DISC 2020), 2020
Herausgeber: LIPIcs
DOI: 10.4230/lipics.disc.2020.3

Non-blocking interpolation search trees with doubly-logarithmic running time

Autoren: Trevor Brown, Aleksandar Prokopec, Dan Alistarh
Veröffentlicht in: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Seite(n) 276-291, ISBN 9781450368186
Herausgeber: ACM
DOI: 10.1145/3332466.3374542

AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks

Autoren: Alexandra Peste, Eugenia Iofinova, Adrian Vladu, Dan Alistarh
Veröffentlicht in: NeurIPS Proceedings, 2021
Herausgeber: NeurIPS

Towards Tight Communication Lower Bounds for Distributed Optimisation

Autoren: Janne Korhonen, Dan Alistarh
Veröffentlicht in: Proceedings of the 35th Conference on Neural Information Processing Systems (NeurIPS 2021), 2021
Herausgeber: NeurIPS

Efficiency guarantees for parallel incremental algorithms under relaxed schedulers

Autoren: Dan Alistarh, Nikita Koval, Giorgi Nadiradze
Veröffentlicht in: 31st ACM Symposium on Parallelism in Algorithms and Architectures, 2019, Seite(n) 145-154, ISBN 9781450361842
Herausgeber: ACM
DOI: 10.1145/3323165.3323201

Byzantine-Resilient Non-Convex Stochastic Gradient Descent

Autoren: Zeyuan Allen-Zhu, Faeze Ebrahimianghazani, Jerry Li, Dan Alistarh
Veröffentlicht in: Proceedings of the International Conference on Learning Representations (ICLR), 2021
Herausgeber: Openreview

Powerset convolutional neural networks

Autoren: Chris Wendler, Dan Alistarh, Markus Püschel
Veröffentlicht in: Proceedings of the Conference on Neural Information Processing Systems (NeurIPS), Ausgabe 32, 2019, Seite(n) 927-938
Herausgeber: NIPS: Conference on Neural Information Processing Systems

WoodFisher: Efficient Second-Order Approximation for Neural Network Compression

Autoren: Sidak Pal Singh, Dan Alistarh
Veröffentlicht in: Proceedings of the International Conference on Neural Information Processing Systems, 2020
Herausgeber: NeurIPS

Communication-Efficient Federated Learning With Data and Client Heterogeneity

Autoren: Hossein Zakerinia, Shayan Talaei, Giorgi Nadiradze, Dan Alistarh
Veröffentlicht in: Proceedings of AISTATS 2024, 2024
Herausgeber: PMLR

Asynchronous Decentralized SGD with Quantized and Local Updates

Autoren: Giorgi Nadiradze, Amirmojtaba Sabour, Peter Davies, Shigang Li, Dan Alistarh
Veröffentlicht in: NeurIPS Proceedings, 2021
Herausgeber: NeurIPS Proceedings

Lower Bounds for Shared-Memory Leader Election under Bounded Write Contention

Autoren: Dan Alistarh, Rati Gelashvili, Giorgi Nadiradze
Veröffentlicht in: Proceedings of the 35th International Symposium on Distributed Computing (DISC 2021), 2021, Seite(n) 4:1--4:17
Herausgeber: "Schloss Dagstuhl -- Leibniz-Zentrum f{\""u}r Informatik"
DOI: 10.4230/lipics.disc.2021.4

Relaxed Scheduling for Scalable Belief Propagation

Autoren: Vitaly Aksenov, Janne Korhonen, Dan Alistarh
Veröffentlicht in: Proceedings of the 36th International Conference on Neural Information Processing Systems, 2020
Herausgeber: NeurIPS

L-GreCo: Layerwise-Adaptive Gradient Compression for Efficient and Accurate Deep Learning

Autoren: Mohammadreza Alimohammadi, Ilia Markov, Elias Frantar, Dan Alistarh
Veröffentlicht in: Proceedings of MLSys 2024, 2024
Herausgeber: MLSys

SparCML - high-performance sparse communication for machine learning

Autoren: Cedric Renggli, Saleh Ashkboos, Mehdi Aghagolzadeh, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-15, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356222

New Bounds For Distributed Mean Estimation and Variance Reduction

Autoren: Peter Davies, Vijaykrishna Gurunathan, Niusha Moshrefi, Saleh Ashkboos, Dan Alistarh
Veröffentlicht in: Proceedings of the International Conference on Learning Representations, 2021
Herausgeber: Openreview

Dynamic averaging load balancing on cycles

Autoren: Dan Alistarh, Giorgi Nadiradze, Amirmojtaba Sabour
Veröffentlicht in: Leibniz International Proceedings in Informatics, Ausgabe 168/7, 2020, ISBN 9783959771382
Herausgeber: Schloss Dagstuhl - Leibniz-Zentrum für Informatik
DOI: 10.4230/lipics.icalp.2020.7

Peer reviewed articles (1)

Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging

Autoren: Shigang Li, Tal Ben-Nun, Giorgi Nadiradze, Salvatore Digirolamo, Nikoli Dryden, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: IEEE Transactions on Parallel and Distributed Systems, 2020, Seite(n) 1-1, ISSN 1045-9219
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2020.3040606