A Theory for Understanding, Designing, and Training Deep Learning Systems

Informations projet

THUNDEEP

N° de convention de subvention: 754705

DOI

10.3030/754705

Projet clôturé

Date de signature de la CE 5 Septembre 2017

Date de début 1 Septembre 2018

Date de fin 31 Juillet 2025

Financé au titre de

• EXCELLENT SCIENCE - European Research Council (ERC)

Coût total

€ 1 442 360,00

Contribution de l’UE

€ 1 442 360,00

Coordonné par

WEIZMANN INSTITUTE OF SCIENCE
Israel

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Conference proceedings (37)

Neural Networks with Small Weights and Depth-Separation Barriers

Auteurs: Gal Vardi and Ohad Shamir
Publié dans: 2020
Éditeur: NeurIPS 2020

On Margin Maximization in Linear and ReLU Networks

Auteurs: Gal Vardi, Gilad Yehudai, Ohad Shamir
Publié dans: 36th Conference on Neural Information Processing Systems (NeurIPS 2022), Numéro 36, 2022
Éditeur: NeurIPS

Initialization-dependent sample complexity of linear predictors and neural networks

Auteurs: R Magen, O Shamir
Publié dans: 2023
Éditeur: Advances in Neural Information Processing Systems

When Models Don't Collapse: On the Consistency of Iterative MLE

Auteurs: D Barzilai, O Shamir
Publié dans: 2025
Éditeur: NeurIPS 2025

Implicit Regularization Towards Rank Minimization in ReLU Networks

Auteurs: Nadav Timor, Gal Vardi and Ohad Shamir
Publié dans: 2023
Éditeur: ALT

The Sample Complexity of One-Hidden-Layer Neural Networks

Auteurs: Gal Vardi, Ohad Shamir and Nathan Srebro
Publié dans: 2022
Éditeur: NeurIPS

Learning a Single Neuron with Bias Using Gradient Descent

Auteurs: Gal Vardi, Gilad Yehudai, Ohad Shamir
Publié dans: 2021
Éditeur: NeurIP

Deterministic nonsmooth nonconvex optimization

Auteurs: M Jordan, G Kornowski, T Lin, O Shamir, M Zampetakis
Publié dans: 2023
Éditeur: Proceedings of COLT 2023

Width is Less Important than Depth in ReLU Neural Networks

Auteurs: Gal Vardi, Gilad Yehudai and Ohad Shamir
Publié dans: 2022
Éditeur: COLT

Open Problem: Anytime Convergence Rate of Gradient Descent

Auteurs: G Kornowski, O Shamir
Publié dans: 2024
Éditeur: Proceedings of COLT 2024

Gradient Methods Provably Converge to Non-Robust Networks

Auteurs: Gal Vardi, Gilad Yehudai and Ohad Shamir
Publié dans: 2022
Éditeur: NeurIPS

Reconstructing Training Data from Trained Neural Networks

Auteurs: Niv Haim, Gal Vardi, Gilad Yehudai, Ohad Shamir, Michal Irani
Publié dans: 2022
Éditeur: NeurIPS

The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Auteurs: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Publié dans: 2021
Éditeur: COLT 2021

The Effects of Mild Over-parameterization on the Optimization Landscapeof Shallow ReLU Neural Networks

Auteurs: Itay Safran, Gilad Yehudai and Ohad Shamir
Publié dans: 2021
Éditeur: COLT 2021

Implicit Regularization in ReLU Networks with the Square Loss

Auteurs: Gal Vardi and Ohad Shamir
Publié dans: 2021
Éditeur: COLT 2021

Oracle Complexity in Nonsmooth Nonconvex Optimization

Auteurs: Guy Kornowski and Ohad Shamir
Publié dans: 2021
Éditeur: NeurIPS

Depth Separation in Norm-Bounded Infinite-Width Neural Networks

Auteurs: S Parkinson, G Ongie, R Willett, O Shamir, N Srebro
Publié dans: 2024
Éditeur: Proceedings of COLT 2024

The Implicit Bias of Benign Overfitting

Auteurs: Ohad Shamir
Publié dans: 2022
Éditeur: COLT

Reconstructing Training Data from Multiclass Neural Networks

Auteurs: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Irani, Michal
Publié dans: Workshop on the pitfalls of limited data and computation for Trustworthy ML, ICLR 2023, 2023
Éditeur: ICLR

Logarithmic Width Suffices for Robust Memorization

Auteurs: A Egosi, G Yehudai, O Shamir
Publié dans: 2025
Éditeur: COLT 2025

Are ResNets Provably Better than Linear Predictors?

Auteurs: Ohad Shamir
Publié dans: 2018
Éditeur: NeurIPS conference

On the Power and Limitations of Random Features for Understanding Neural Networks

Auteurs: Gilad Yehudai and Ohad Shamir
Publié dans: 2019
Éditeur: NeurIPS conference

Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks

Auteurs: Ohad Shamir
Publié dans: 2019
Éditeur: COLT conference

Depth Separations in Neural Networks: What is Actually Being Separated?

Auteurs: Itay Safran, Ronen Eldan, Ohad Shamir
Publié dans: 2019
Éditeur: COLT conference

The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Auteurs: Dylan Foster, Ayush Sekhari, Ohad Shamir, Nathan Srebro, Karthik Sridharan, Blake Woodworth
Publié dans: 2019
Éditeur: COLT conference

Learning a Single Neuron with Gradient Methods

Auteurs: Gilad Yehudai and Ohad Shamir
Publié dans: 2020
Éditeur: COLT 2020

How Good is SGD with Random Shuffling?

Auteurs: Itay Safran and Ohad Shamir
Publié dans: 2020
Éditeur: COLT 2020

Proving the Lottery Ticket Hypothesis: Pruning is All You Need

Auteurs: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Publié dans: 2020
Éditeur: ICML 2020

From tempered to benign overfitting in relu neural networks

Auteurs: Guy Kornowski, Gilad Yehudai, Ohad Shamir
Publié dans: 2023
Éditeur: Advances in Neural Information Processing Systems

Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems

Auteurs: Itay Safran and Ohad Shamir
Publié dans: 2021
Éditeur: NeurIPS

On the Optimal Memorization Power of ReLU Neural Networks

Auteurs: Gal Vardi, Gilad Yehudai, Ohad Shamir
Publié dans: The Optimal Memorization Power of ReLU Neural Networks ICLR 2022, 2022
Éditeur: ICLR

Size and Depth Separation in Approximating Natural Functions with Neural Networks

Auteurs: Gal Vardi, Daniel Reichman, Toniann Pitassi, Ohad Shamir
Publié dans: 2021
Éditeur: COLT 2021

Generalization in kernel regression under realistic assumptions

Auteurs: Daniel Barzilai, Ohad Shamir
Publié dans: 2024
Éditeur: Proceedings of ICML 2024

Beyond Benign Overfitting in Nadaraya-Watson Interpolators

Auteurs: D Barzilai, G Kornowski, O Shamir
Publié dans: 2025
Éditeur: NeurIPS 2025

Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Auteurs: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Oz, Yakir; Nikankin, Yaniv; Irani, Michal
Publié dans: 37th Conference on Neural Information Processing Systems (NeurIPS 2023), 2023
Éditeur: Neural Information Processing Systems

The oracle complexity of simplex-based matrix games: Linear separability and nash equilibria

Auteurs: G Kornowski, O Shamir
Publié dans: 2025
Éditeur: COLT 2025

On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization

Auteurs: Guy Kornowski, Swati Padmanabhan, Ohad Shamir
Publié dans: 2024
Éditeur: NeurIPS Workshop on Optimization for Machine Learning 2024

Peer reviewed articles (2)

Gradient Methods Never Overfit On Separable Data

Auteurs: Ohad Shamir
Publié dans: Journal of Machine Learning Research, 2020, ISSN 1533-7928
Éditeur: None (independent electronic journal)

An algorithm with optimal dimension-dependence for zero-order nonsmooth nonconvex stochastic optimization

Auteurs: G Kornowski, O Shamir
Publié dans: Journal of Machine Learning Research, 2024, ISSN 1533-7928
Éditeur: Journal of Machine Learning Research

Other (5)

Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Data Manifolds

Auteurs: Odelia Melamed, Gilad Yehudai, Gal Vardi
Publié dans: 2023
Éditeur: arXiv

Simple Relative Deviation Bounds for Covariance and Gram Matrices

Auteurs: Daniel Barzilai, Ohad Shamir
Publié dans: 2024
Éditeur: arXiv

Hardness of learning fixed parities with neural networks

Auteurs: Itamar Shoshani, Ohad Shamir
Publié dans: 2025
Éditeur: arXiv

Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?

Auteurs: Ohad Shamir
Publié dans: 2020
Éditeur: arXiv preprint

On the Complexity of Finding Small Subgradients in Nonsmooth Optimization

Auteurs: Guy Kornowski and Ohad Shamir
Publié dans: 2022
Éditeur: arXiv