A Theory for Understanding, Designing, and Training Deep Learning Systems

Projektinformationen

THUNDEEP

ID Finanzhilfevereinbarung: 754705

DOI

10.3030/754705

Projekt abgeschlossen

EK-Unterschriftsdatum 5 September 2017

Startdatum 1 September 2018

Enddatum 31 Juli 2025

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 1 442 360,00

EU-Beitrag

€ 1 442 360,00

Koordiniert durch

WEIZMANN INSTITUTE OF SCIENCE
Israel

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Conference proceedings (37)

Neural Networks with Small Weights and Depth-Separation Barriers

Autoren: Gal Vardi and Ohad Shamir
Veröffentlicht in: 2020
Herausgeber: NeurIPS 2020

On Margin Maximization in Linear and ReLU Networks

Autoren: Gal Vardi, Gilad Yehudai, Ohad Shamir
Veröffentlicht in: 36th Conference on Neural Information Processing Systems (NeurIPS 2022), Ausgabe 36, 2022
Herausgeber: NeurIPS

Initialization-dependent sample complexity of linear predictors and neural networks

Autoren: R Magen, O Shamir
Veröffentlicht in: 2023
Herausgeber: Advances in Neural Information Processing Systems

When Models Don't Collapse: On the Consistency of Iterative MLE

Autoren: D Barzilai, O Shamir
Veröffentlicht in: 2025
Herausgeber: NeurIPS 2025

Implicit Regularization Towards Rank Minimization in ReLU Networks

Autoren: Nadav Timor, Gal Vardi and Ohad Shamir
Veröffentlicht in: 2023
Herausgeber: ALT

The Sample Complexity of One-Hidden-Layer Neural Networks

Autoren: Gal Vardi, Ohad Shamir and Nathan Srebro
Veröffentlicht in: 2022
Herausgeber: NeurIPS

Learning a Single Neuron with Bias Using Gradient Descent

Autoren: Gal Vardi, Gilad Yehudai, Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: NeurIP

Deterministic nonsmooth nonconvex optimization

Autoren: M Jordan, G Kornowski, T Lin, O Shamir, M Zampetakis
Veröffentlicht in: 2023
Herausgeber: Proceedings of COLT 2023

Width is Less Important than Depth in ReLU Neural Networks

Autoren: Gal Vardi, Gilad Yehudai and Ohad Shamir
Veröffentlicht in: 2022
Herausgeber: COLT

Open Problem: Anytime Convergence Rate of Gradient Descent

Autoren: G Kornowski, O Shamir
Veröffentlicht in: 2024
Herausgeber: Proceedings of COLT 2024

Gradient Methods Provably Converge to Non-Robust Networks

Autoren: Gal Vardi, Gilad Yehudai and Ohad Shamir
Veröffentlicht in: 2022
Herausgeber: NeurIPS

Reconstructing Training Data from Trained Neural Networks

Autoren: Niv Haim, Gal Vardi, Gilad Yehudai, Ohad Shamir, Michal Irani
Veröffentlicht in: 2022
Herausgeber: NeurIPS

The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Autoren: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: COLT 2021

The Effects of Mild Over-parameterization on the Optimization Landscapeof Shallow ReLU Neural Networks

Autoren: Itay Safran, Gilad Yehudai and Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: COLT 2021

Implicit Regularization in ReLU Networks with the Square Loss

Autoren: Gal Vardi and Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: COLT 2021

Oracle Complexity in Nonsmooth Nonconvex Optimization

Autoren: Guy Kornowski and Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: NeurIPS

Depth Separation in Norm-Bounded Infinite-Width Neural Networks

Autoren: S Parkinson, G Ongie, R Willett, O Shamir, N Srebro
Veröffentlicht in: 2024
Herausgeber: Proceedings of COLT 2024

The Implicit Bias of Benign Overfitting

Autoren: Ohad Shamir
Veröffentlicht in: 2022
Herausgeber: COLT

Reconstructing Training Data from Multiclass Neural Networks

Autoren: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Irani, Michal
Veröffentlicht in: Workshop on the pitfalls of limited data and computation for Trustworthy ML, ICLR 2023, 2023
Herausgeber: ICLR

Logarithmic Width Suffices for Robust Memorization

Autoren: A Egosi, G Yehudai, O Shamir
Veröffentlicht in: 2025
Herausgeber: COLT 2025

Are ResNets Provably Better than Linear Predictors?

Autoren: Ohad Shamir
Veröffentlicht in: 2018
Herausgeber: NeurIPS conference

On the Power and Limitations of Random Features for Understanding Neural Networks

Autoren: Gilad Yehudai and Ohad Shamir
Veröffentlicht in: 2019
Herausgeber: NeurIPS conference

Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks

Autoren: Ohad Shamir
Veröffentlicht in: 2019
Herausgeber: COLT conference

Depth Separations in Neural Networks: What is Actually Being Separated?

Autoren: Itay Safran, Ronen Eldan, Ohad Shamir
Veröffentlicht in: 2019
Herausgeber: COLT conference

The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Autoren: Dylan Foster, Ayush Sekhari, Ohad Shamir, Nathan Srebro, Karthik Sridharan, Blake Woodworth
Veröffentlicht in: 2019
Herausgeber: COLT conference

Learning a Single Neuron with Gradient Methods

Autoren: Gilad Yehudai and Ohad Shamir
Veröffentlicht in: 2020
Herausgeber: COLT 2020

How Good is SGD with Random Shuffling?

Autoren: Itay Safran and Ohad Shamir
Veröffentlicht in: 2020
Herausgeber: COLT 2020

Proving the Lottery Ticket Hypothesis: Pruning is All You Need

Autoren: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Veröffentlicht in: 2020
Herausgeber: ICML 2020

From tempered to benign overfitting in relu neural networks

Autoren: Guy Kornowski, Gilad Yehudai, Ohad Shamir
Veröffentlicht in: 2023
Herausgeber: Advances in Neural Information Processing Systems

Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems

Autoren: Itay Safran and Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: NeurIPS

On the Optimal Memorization Power of ReLU Neural Networks

Autoren: Gal Vardi, Gilad Yehudai, Ohad Shamir
Veröffentlicht in: The Optimal Memorization Power of ReLU Neural Networks ICLR 2022, 2022
Herausgeber: ICLR

Size and Depth Separation in Approximating Natural Functions with Neural Networks

Autoren: Gal Vardi, Daniel Reichman, Toniann Pitassi, Ohad Shamir
Veröffentlicht in: 2021
Herausgeber: COLT 2021

Generalization in kernel regression under realistic assumptions

Autoren: Daniel Barzilai, Ohad Shamir
Veröffentlicht in: 2024
Herausgeber: Proceedings of ICML 2024

Beyond Benign Overfitting in Nadaraya-Watson Interpolators

Autoren: D Barzilai, G Kornowski, O Shamir
Veröffentlicht in: 2025
Herausgeber: NeurIPS 2025

Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Autoren: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Oz, Yakir; Nikankin, Yaniv; Irani, Michal
Veröffentlicht in: 37th Conference on Neural Information Processing Systems (NeurIPS 2023), 2023
Herausgeber: Neural Information Processing Systems

The oracle complexity of simplex-based matrix games: Linear separability and nash equilibria

Autoren: G Kornowski, O Shamir
Veröffentlicht in: 2025
Herausgeber: COLT 2025

On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization

Autoren: Guy Kornowski, Swati Padmanabhan, Ohad Shamir
Veröffentlicht in: 2024
Herausgeber: NeurIPS Workshop on Optimization for Machine Learning 2024

Peer reviewed articles (2)

Gradient Methods Never Overfit On Separable Data

Autoren: Ohad Shamir
Veröffentlicht in: Journal of Machine Learning Research, 2020, ISSN 1533-7928
Herausgeber: None (independent electronic journal)

An algorithm with optimal dimension-dependence for zero-order nonsmooth nonconvex stochastic optimization

Autoren: G Kornowski, O Shamir
Veröffentlicht in: Journal of Machine Learning Research, 2024, ISSN 1533-7928
Herausgeber: Journal of Machine Learning Research

Other (5)

Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Data Manifolds

Autoren: Odelia Melamed, Gilad Yehudai, Gal Vardi
Veröffentlicht in: 2023
Herausgeber: arXiv

Simple Relative Deviation Bounds for Covariance and Gram Matrices

Autoren: Daniel Barzilai, Ohad Shamir
Veröffentlicht in: 2024
Herausgeber: arXiv

Hardness of learning fixed parities with neural networks

Autoren: Itamar Shoshani, Ohad Shamir
Veröffentlicht in: 2025
Herausgeber: arXiv

Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?

Autoren: Ohad Shamir
Veröffentlicht in: 2020
Herausgeber: arXiv preprint

On the Complexity of Finding Small Subgradients in Nonsmooth Optimization

Autoren: Guy Kornowski and Ohad Shamir
Veröffentlicht in: 2022
Herausgeber: arXiv