Elastic Coordination for Scalable Machine Learning

Informacje na temat projektu

ScaleML

Identyfikator umowy o grant: 805223

DOI

10.3030/805223

Projekt został zamknięty

Data podpisania przez KE 17 Października 2018

Data rozpoczęcia 1 Marca 2019

Data zakończenia 29 Lutego 2024

Finansowanie w ramach

• EXCELLENT SCIENCE - European Research Council (ERC)

Koszt całkowity

€ 1 494 121,00

Wkład UE

€ 1 494 121,00

Koordynowany przez

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Austria

CORDIS oferuje możliwość skorzystania z odnośników do publicznie dostępnych publikacji i rezultatów projektów realizowanych w ramach programów ramowych HORYZONT.

Odnośniki do rezultatów i publikacji związanych z poszczególnymi projektami 7PR, a także odnośniki do niektórych konkretnych kategorii wyników, takich jak zbiory danych i oprogramowanie, są dynamicznie pobierane z systemu OpenAIRE .

Publikacje

Conference proceedings (18)

On the sample complexity of adversarial multi-source PAC learning

Autorzy: Nikola Konstantinov, Elias Frantar, Dan Alistarh, Christoph H. Lampert
Opublikowane w: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), 2020
Wydawca: PMLR

Taming unbalanced training workloads in deep learning with partial collective operations

Autorzy: Shigang Li, Tal Ben-Nun, Salvatore Di Girolamo, Dan Alistarh, Torsten Hoefler
Opublikowane w: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Strona(/y) 45-61, ISBN 9781450368186
Wydawca: ACM
DOI: 10.1145/3332466.3374528

The splay-list: a distribution-adaptive concurrent skip-list

Autorzy: Vitaly Aksenov, Dan Alistarh, Alexandra Drozdova, Amirkeivan Mohtashami
Opublikowane w: Proceedings of the 34th International Symposium on Distributed Computing (DISC 2020), 2020
Wydawca: LIPIcs
DOI: 10.4230/lipics.disc.2020.3

Non-blocking interpolation search trees with doubly-logarithmic running time

Autorzy: Trevor Brown, Aleksandar Prokopec, Dan Alistarh
Opublikowane w: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Strona(/y) 276-291, ISBN 9781450368186
Wydawca: ACM
DOI: 10.1145/3332466.3374542

AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks

Autorzy: Alexandra Peste, Eugenia Iofinova, Adrian Vladu, Dan Alistarh
Opublikowane w: NeurIPS Proceedings, 2021
Wydawca: NeurIPS

Towards Tight Communication Lower Bounds for Distributed Optimisation

Autorzy: Janne Korhonen, Dan Alistarh
Opublikowane w: Proceedings of the 35th Conference on Neural Information Processing Systems (NeurIPS 2021), 2021
Wydawca: NeurIPS

Efficiency guarantees for parallel incremental algorithms under relaxed schedulers

Autorzy: Dan Alistarh, Nikita Koval, Giorgi Nadiradze
Opublikowane w: 31st ACM Symposium on Parallelism in Algorithms and Architectures, 2019, Strona(/y) 145-154, ISBN 9781450361842
Wydawca: ACM
DOI: 10.1145/3323165.3323201

Byzantine-Resilient Non-Convex Stochastic Gradient Descent

Autorzy: Zeyuan Allen-Zhu, Faeze Ebrahimianghazani, Jerry Li, Dan Alistarh
Opublikowane w: Proceedings of the International Conference on Learning Representations (ICLR), 2021
Wydawca: Openreview

Powerset convolutional neural networks

Autorzy: Chris Wendler, Dan Alistarh, Markus Püschel
Opublikowane w: Proceedings of the Conference on Neural Information Processing Systems (NeurIPS), Numer 32, 2019, Strona(/y) 927-938
Wydawca: NIPS: Conference on Neural Information Processing Systems

WoodFisher: Efficient Second-Order Approximation for Neural Network Compression

Autorzy: Sidak Pal Singh, Dan Alistarh
Opublikowane w: Proceedings of the International Conference on Neural Information Processing Systems, 2020
Wydawca: NeurIPS

Communication-Efficient Federated Learning With Data and Client Heterogeneity

Autorzy: Hossein Zakerinia, Shayan Talaei, Giorgi Nadiradze, Dan Alistarh
Opublikowane w: Proceedings of AISTATS 2024, 2024
Wydawca: PMLR

Asynchronous Decentralized SGD with Quantized and Local Updates

Autorzy: Giorgi Nadiradze, Amirmojtaba Sabour, Peter Davies, Shigang Li, Dan Alistarh
Opublikowane w: NeurIPS Proceedings, 2021
Wydawca: NeurIPS Proceedings

Lower Bounds for Shared-Memory Leader Election under Bounded Write Contention

Autorzy: Dan Alistarh, Rati Gelashvili, Giorgi Nadiradze
Opublikowane w: Proceedings of the 35th International Symposium on Distributed Computing (DISC 2021), 2021, Strona(/y) 4:1--4:17
Wydawca: "Schloss Dagstuhl -- Leibniz-Zentrum f{\""u}r Informatik"
DOI: 10.4230/lipics.disc.2021.4

Relaxed Scheduling for Scalable Belief Propagation

Autorzy: Vitaly Aksenov, Janne Korhonen, Dan Alistarh
Opublikowane w: Proceedings of the 36th International Conference on Neural Information Processing Systems, 2020
Wydawca: NeurIPS

L-GreCo: Layerwise-Adaptive Gradient Compression for Efficient and Accurate Deep Learning

Autorzy: Mohammadreza Alimohammadi, Ilia Markov, Elias Frantar, Dan Alistarh
Opublikowane w: Proceedings of MLSys 2024, 2024
Wydawca: MLSys

SparCML - high-performance sparse communication for machine learning

Autorzy: Cedric Renggli, Saleh Ashkboos, Mehdi Aghagolzadeh, Dan Alistarh, Torsten Hoefler
Opublikowane w: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Strona(/y) 1-15, ISBN 9781450362290
Wydawca: ACM
DOI: 10.1145/3295500.3356222

New Bounds For Distributed Mean Estimation and Variance Reduction

Autorzy: Peter Davies, Vijaykrishna Gurunathan, Niusha Moshrefi, Saleh Ashkboos, Dan Alistarh
Opublikowane w: Proceedings of the International Conference on Learning Representations, 2021
Wydawca: Openreview

Dynamic averaging load balancing on cycles

Autorzy: Dan Alistarh, Giorgi Nadiradze, Amirmojtaba Sabour
Opublikowane w: Leibniz International Proceedings in Informatics, Numer 168/7, 2020, ISBN 9783959771382
Wydawca: Schloss Dagstuhl - Leibniz-Zentrum für Informatik
DOI: 10.4230/lipics.icalp.2020.7

Peer reviewed articles (1)

Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging

Autorzy: Shigang Li, Tal Ben-Nun, Giorgi Nadiradze, Salvatore Digirolamo, Nikoli Dryden, Dan Alistarh, Torsten Hoefler
Opublikowane w: IEEE Transactions on Parallel and Distributed Systems, 2020, Strona(/y) 1-1, ISSN 1045-9219
Wydawca: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2020.3040606