Data-centric Parallel Programming

A Modular Benchmarking Infrastructure for High-Performance and Reproducible Deep Learning

Autoren: Tal Ben-Nun, Maciej Besta, Simon Huber, Alexandros Nikolaos Ziogas, Daniel Peter, Torsten Hoefler
Veröffentlicht in: 2019 IEEE International Parallel and Distributed Processing Symposium (IPDPS), 2019, Seite(n) 66-77, ISBN 978-1-7281-1246-6
Herausgeber: IEEE
DOI: 10.1109/ipdps.2019.00018

Mitigating network noise on Dragonfly networks through application-aware routing

Autoren: Daniele De Sensi, Salvatore Di Girolamo, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-32, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356196

Productivity, portability, performance - data-centric Python

Autoren: Alexandros Nikolaos Ziogas, Timo Schneider, Tal Ben-Nun, Alexandru Calotoiu, Tiziano De Matteis, Johannes de Fine Licht, Luca Lavarini, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2021, Seite(n) 1-13, ISBN 9781450384421
Herausgeber: ACM
DOI: 10.1145/3458817.3476176

Taming unbalanced training workloads in deep learning with partial collective operations

Autoren: Shigang Li, Tal Ben-Nun, Salvatore Di Girolamo, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: Proceedings of the 25th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2020, Seite(n) 45-61, ISBN 9781450368186
Herausgeber: ACM
DOI: 10.1145/3332466.3374528

Predicting Weather Uncertainty with Deep Convnets

Autoren: Grönquist, Peter; Ben-Nun, Tal; Dryden, Nikoli; Dueben, Peter; Lavarini, Luca; Li, Shigang; Hoefler, Torsten
Veröffentlicht in: Ausgabe 1, 2019
Herausgeber: Arxiv

Naos: Serialization-free RDMA networking in Java

Autoren: Taranov, Konstantin Bruno, Rodrigo Alonso, Gustavo Hoefler, Torsten
Veröffentlicht in: 2021
Herausgeber: USENIX Association

ProGraML: A Graph-based Program Representation for Data Flow Analysis and Compiler Optimizations

Autoren: Chris Cummins, Zacharias V. Fisches, Tal Ben-Nun, Torsten Hoefler, Michael F P O’Boyle, Hugh Leather
Veröffentlicht in: 2021
Herausgeber: International Conference on Machine Learning

On the parallel I/O optimality of linear algebra kernels - near-optimal LU factorization

Autoren: Grzegorz Kwasniewski, Tal Ben-Nun, Alexandros Nikolaos Ziogas, Timo Schneider, Maciej Besta, Torsten Hoefler
Veröffentlicht in: Proceedings of the 26th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, 2021, Seite(n) 463-464, ISBN 9781450382946
Herausgeber: ACM
DOI: 10.1145/3437801.3441590

SparCML - high-performance sparse communication for machine learning

Autoren: Cedric Renggli, Saleh Ashkboos, Mehdi Aghagolzadeh, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-15, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356222

Streaming message interface - high-performance distributed memory programming on reconfigurable hardware

Autoren: Tiziano De Matteis, Johannes de Fine Licht, Jakub Beránek, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-33, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356201

SeBS - a serverless benchmark suite for function-as-a-service computing

Autoren: Marcin Copik, Grzegorz Kwasniewski, Maciej Besta, Michal Podstawski, Torsten Hoefler
Veröffentlicht in: Proceedings of the 22nd International Middleware Conference, 2021, Seite(n) 64-78, ISBN 9781450385343
Herausgeber: ACM
DOI: 10.1145/3464298.3476133

An In-Depth Analysis of the Slingshot Interconnect

Autoren: De Sensi, Daniele; Di Girolamo, Salvatore; McMahon, Kim H.; Roweth, Duncan; Hoefler, Torsten
Veröffentlicht in: Ausgabe 1, 2020
Herausgeber: IEEE

Chimera: efficiently training large-scale neural networks with bidirectional pipelines

Autoren: Shigang Li, Torsten Hoefler
Veröffentlicht in: 2021
Herausgeber: ACM

Stateful dataflow multigraphs - a data-centric model for performance portability on heterogeneous architectures

Autoren: Tal Ben-Nun, Johannes de Fine Licht, Alexandros N. Ziogas, Timo Schneider, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-14, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356173

NPBench - a benchmarking suite for high-performance NumPy

Autoren: Alexandros Nikolaos Ziogas, Tal Ben-Nun, Timo Schneider, Torsten Hoefler
Veröffentlicht in: Proceedings of the ACM International Conference on Supercomputing, 2021, Seite(n) 63-74, ISBN 9781450383356
Herausgeber: ACM
DOI: 10.1145/3447818.3460360

CoRM - Compactable Remote Memory over RDMA

Autoren: Konstantin Taranov, Salvatore Di Girolamo, Torsten Hoefler
Veröffentlicht in: Proceedings of the 2021 International Conference on Management of Data, 2021, Seite(n) 1811-1824, ISBN 9781450383431
Herausgeber: ACM
DOI: 10.1145/3448016.3452817

Absinthe: Learning an Analytical Performance Model to Fuse and Tile Stencil Codes in One Shot

Autoren: Tobias Gysi, Tobias Grosser, Torsten Hoefler
Veröffentlicht in: 2019 28th International Conference on Parallel Architectures and Compilation Techniques (PACT), 2019, Seite(n) 370-382, ISBN 978-1-7281-3613-4
Herausgeber: IEEE
DOI: 10.1109/pact.2019.00036

Log(graph) - a near-optimal high-performance graph representation

Autoren: Maciej Besta, Dimitri Stanojevic, Tijana Zivic, Jagpreet Singh, Maurice Hoerold, Torsten Hoefler
Veröffentlicht in: Proceedings of the 27th International Conference on Parallel Architectures and Compilation Techniques, 2018, Seite(n) 1-13, ISBN 9781450359863
Herausgeber: ACM
DOI: 10.1145/3243176.3243198

Red-blue pebbling revisited - near optimal parallel matrix-matrix multiplication

Autoren: Grzegorz Kwasniewski, Marko Kabić, Maciej Besta, Joost VandeVondele, Raffaele Solcà, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-22, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356181

Pebbles, Graphs, and a Pinch of Combinatorics - Towards Tight I/O Lower Bounds for Statically Analyzable Programs

Autoren: Grzegorz Kwasniewski, Tal Ben-Nun, Lukas Gianinazzi, Alexandru Calotoiu, Timo Schneider, Alexandros Nikolaos Ziogas, Maciej Besta, Torsten Hoefler
Veröffentlicht in: Proceedings of the 33rd ACM Symposium on Parallelism in Algorithms and Architectures, 2021, Seite(n) 328-339, ISBN 9781450380706
Herausgeber: ACM
DOI: 10.1145/3409964.3461796

Designing scalable FPGA architectures using high-level synthesis

Autoren: J. de Fine Licht, M. Blott, T. Hoefler
Veröffentlicht in: 2018
Herausgeber: ACM

Neural Code Comprehension: A Learnable Representation of Code Semantics

Autoren: Tal Ben-Nun, Alice Shoshana Jakobovits, Torsten Hoefler
Veröffentlicht in: Advances in Neural Information Processing Systems 31, 2018
Herausgeber: Curran Associates

A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations

Autoren: Alexandros Nikolaos Ziogas, Tal Ben-Nun, Guillermo Indalecio Fernández, Timo Schneider, Mathieu Luisier, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '19, 2019, Seite(n) 1-13, ISBN 9781450362290
Herausgeber: ACM Press
DOI: 10.1145/3295500.3357156

Optimizing the data movement in quantum transport simulations via data-centric parallel programming

Autoren: Alexandros Nikolaos Ziogas, Tal Ben-Nun, Guillermo Indalecio Fernández, Timo Schneider, Mathieu Luisier, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '19, 2019, Seite(n) 1-17, ISBN 9781450362290
Herausgeber: ACM Press
DOI: 10.1145/3295500.3356200

A fast analytical model of fully associative caches

Autoren: Tobias Gysi, Tobias Grosser, Laurin Brandner, Torsten Hoefler
Veröffentlicht in: Proceedings of the 40th ACM SIGPLAN Conference on Programming Language Design and Implementation - PLDI 2019, 2019, Seite(n) 816-829, ISBN 9781-450367127
Herausgeber: ACM Press
DOI: 10.1145/3314221.3314606

Embedding Functions Into Reversible Circuits - A Probabilistic Approach to the Number of Lines

Autoren: Niels Gleinig, Frances Ann Hubis, Torsten Hoefler
Veröffentlicht in: Proceedings of the 56th Annual Design Automation Conference 2019 on - DAC '19, 2019, Seite(n) 1-6, ISBN 9781-450367257
Herausgeber: ACM Press
DOI: 10.1145/3316781.3317814

Substream-Centric Maximum Matchings on FPGA

Autoren: Maciej Besta, Marc Fischer, Tal Ben-Nun, Johannes De Fine Licht, Torsten Hoefler
Veröffentlicht in: Proceedings of the 2019 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays - FPGA '19, 2019, Seite(n) 152-161, ISBN 9781-450361378
Herausgeber: ACM Press
DOI: 10.1145/3289602.3293916

sPIN - High-performance streaming Processing In the Network

Autoren: Torsten Hoefler, Salvatore Di Girolamo, Konstantin Taranov, Ryan E. Grant, Ron Brightwell
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2017, Seite(n) 1-16, ISBN 9781450351140
Herausgeber: ACM
DOI: 10.1145/3126908.3126970

Slim graph - practical lossy graph compression for approximate graph processing, storage, and analytics

Autoren: Maciej Besta, Simon Weber, Lukas Gianinazzi, Robert Gerstenberger, Andrey Ivanov, Yishai Oltchik, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-25, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356182

Corrected trees for reliable group communication

Autoren: Martin Küttler, Maksym Planeta, Jan Bierbaum, Carsten Weinhold, Hermann Härtig, Amnon Barak, Torsten Hoefler
Veröffentlicht in: Proceedings of the 24th Symposium on Principles and Practice of Parallel Programming, 2019, Seite(n) 287-299, ISBN 9781450362252
Herausgeber: ACM
DOI: 10.1145/3293883.3295721

Data Movement Is All You Need: A Case Study on Optimizing Transformers

Autoren: Ivanov, Andrei; Dryden, Nikoli; Ben-Nun, Tal; Li, Shigang; Hoefler, Torsten
Veröffentlicht in: ETH ZÜRICH, Ausgabe 1, 2020
Herausgeber: Arxiv

Network-accelerated non-contiguous memory transfers

Autoren: Salvatore Di Girolamo, Konstantin Taranov, Andreas Kurth, Michael Schaffner, Timo Schneider, Jakub Beránek, Maciej Besta, Luca Benini, Duncan Roweth, Torsten Hoefler
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2019, Seite(n) 1-14, ISBN 9781450362290
Herausgeber: ACM
DOI: 10.1145/3295500.3356189

StencilFlow: Mapping Large Stencil Programs to Distributed Spatial Computing Systems

Autoren: J. de Fine Licht, A. Kuster, T. De Matteis, T. Ben-Nun, D. Hofer, T. Hoefler
Veröffentlicht in: 2021
Herausgeber: tbc

Flexible Communication Avoiding Matrix Multiplication on FPGA with High-Level Synthesis

Autoren: Johannes de Fine Licht, Grzegorz Kwasniewski, Torsten Hoefler
Veröffentlicht in: Proceedings of the 2020 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, 2020, Seite(n) 244-254, ISBN 9781450370998
Herausgeber: ACM
DOI: 10.1145/3373087.3375296

An Efficient Algorithm for Sparse Quantum State Preparation

Autoren: Niels Gleinig, Torsten Hoefler
Veröffentlicht in: 2021 58th ACM/IEEE Design Automation Conference (DAC), 2021, Seite(n) 433-438, ISBN 978-1-6654-3274-0
Herausgeber: IEEE
DOI: 10.1109/dac18074.2021.9586240

SlimSell: A Vectorizable Graph Representation for Breadth-First Search

Autoren: Maciej Besta, Florian Marending, Edgar Solomonik, Torsten Hoefler
Veröffentlicht in: 2017 IEEE International Parallel and Distributed Processing Symposium (IPDPS), 2017, Seite(n) 32-41, ISBN 978-1-5386-3914-6
Herausgeber: IEEE
DOI: 10.1109/ipdps.2017.93

Transformations of High-Level Synthesis Codes for High-Performance Computing

Autoren: Johannes de Fine Licht, Maciej Besta, Simon Meierhans, Torsten Hoefler
Veröffentlicht in: IEEE Transactions on Parallel and Distributed Systems, Ausgabe 32/5, 2021, Seite(n) 1014-1029, ISSN 1045-9219
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2020.3039409

Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging

Autoren: Shigang Li, Tal Ben-Nun, Giorgi Nadiradze, Salvatore Digirolamo, Nikoli Dryden, Dan Alistarh, Torsten Hoefler
Veröffentlicht in: IEEE Transactions on Parallel and Distributed Systems, 2020, Seite(n) 1-1, ISSN 1045-9219
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2020.3040606

Deep learning for post-processing ensemble weather forecasts

Autoren: Peter Grönquist, Chengyuan Yao, Tal Ben-Nun, Nikoli Dryden, Peter Dueben, Shigang Li, Torsten Hoefler
Veröffentlicht in: Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, Ausgabe 379/2194, 2021, Seite(n) 20200092, ISSN 1364-503X
Herausgeber: Royal Society of London
DOI: 10.1098/rsta.2020.0092

Trends in Data Locality Abstractions for HPC Systems

Autoren: Didem Unat, Anshu Dubey, Torsten Hoefler, John Shalf, Mark Abraham, Mauro Bianco, Bradford L. Chamberlain, Romain Cledat, H. Carter Edwards, Hal Finkel, Karl Fuerlinger, Frank Hannig, Emmanuel Jeannot, Amir Kamil, Jeff Keasler, Paul H J Kelly, Vitus Leung, Hatem Ltaief, Naoya Maruyama, Chris J. Newburn, Miquel Pericas
Veröffentlicht in: IEEE Transactions on Parallel and Distributed Systems, Ausgabe 28/10, 2017, Seite(n) 3007-3020, ISSN 1045-9219
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2017.2703149

Substream-Centric Maximum Matchings on FPGA

Autoren: Maciej Besta, Marc Fischer, Tal Ben-Nun, Dimitri Stanojevic, Johannes De Fine Licht, Torsten Hoefler
Veröffentlicht in: ACM Transactions on Reconfigurable Technology and Systems, Ausgabe 13/2, 2020, Seite(n) 1-33, ISSN 1936-7406
Herausgeber: Association for Computing Machinery (ACM)
DOI: 10.1145/3377871

Demystifying Parallel and Distributed Deep Learning

Autoren: Tal Ben-Nun, Torsten Hoefler
Veröffentlicht in: ACM Computing Surveys, Ausgabe 52/4, 2019, Seite(n) 1-43, ISSN 0360-0300
Herausgeber: Association for Computing Machinary, Inc.
DOI: 10.1145/3320060

Stateful Dataflow Multigraphs: A Data-Centric Model for Performance Portability on Heterogeneous Architectures

Autoren: Ben-Nun, Tal; Licht, Johannes de Fine; Ziogas, Alexandros Nikolaos; Schneider, Timo; Hoefler, Torsten
Veröffentlicht in: arXiv, Ausgabe 4, 2019
Herausgeber: arXiv

Predicting Weather Uncertainty with Deep Convnets

Autoren: P. Grönquist, T. Ben-Nun, N. Dryden, P. Dueben, L. Lavarini, S. Li, T. Hoefler
Veröffentlicht in: arXiv, 2019
Herausgeber: arXiv

Streaming Message Interface: High-Performance DistributedMemory Programming on Reconfigurable Hardware

Autoren: T. De Matteis, J. de Fine Licht, J. Beránek, T. Hoefler
Veröffentlicht in: arXiv, 2019
Herausgeber: arXiv

FBLAS: Streaming Linear Algebra on FPGA

Autoren: De Matteis, Tiziano; Licht, Johannes de Fine; Hoefler, Torsten
Veröffentlicht in: arXiv, Ausgabe 5, 2019
Herausgeber: arXiv

Veröffentlichungen

Diese Seite teilen Diese Seite in sozialen Netzwerken teilen

Herunterladen Den Inhalt der Seite herunterladen