A Theory for Understanding, Designing, and Training Deep Learning Systems

Informacje na temat projektu

THUNDEEP

Identyfikator umowy o grant: 754705

DOI

10.3030/754705

Projekt został zamknięty

Data podpisania przez KE 5 Września 2017

Data rozpoczęcia 1 Września 2018

Data zakończenia 31 Lipca 2025

Finansowanie w ramach

• EXCELLENT SCIENCE - European Research Council (ERC)

Koszt całkowity

€ 1 442 360,00

Wkład UE

€ 1 442 360,00

Koordynowany przez

WEIZMANN INSTITUTE OF SCIENCE
Israel

CORDIS oferuje możliwość skorzystania z odnośników do publicznie dostępnych publikacji i rezultatów projektów realizowanych w ramach programów ramowych HORYZONT.

Odnośniki do rezultatów i publikacji związanych z poszczególnymi projektami 7PR, a także odnośniki do niektórych konkretnych kategorii wyników, takich jak zbiory danych i oprogramowanie, są dynamicznie pobierane z systemu OpenAIRE .

Publikacje

Conference proceedings (37)

Neural Networks with Small Weights and Depth-Separation Barriers

Autorzy: Gal Vardi and Ohad Shamir
Opublikowane w: 2020
Wydawca: NeurIPS 2020

On Margin Maximization in Linear and ReLU Networks

Autorzy: Gal Vardi, Gilad Yehudai, Ohad Shamir
Opublikowane w: 36th Conference on Neural Information Processing Systems (NeurIPS 2022), Numer 36, 2022
Wydawca: NeurIPS

Initialization-dependent sample complexity of linear predictors and neural networks

Autorzy: R Magen, O Shamir
Opublikowane w: 2023
Wydawca: Advances in Neural Information Processing Systems

When Models Don't Collapse: On the Consistency of Iterative MLE

Autorzy: D Barzilai, O Shamir
Opublikowane w: 2025
Wydawca: NeurIPS 2025

Implicit Regularization Towards Rank Minimization in ReLU Networks

Autorzy: Nadav Timor, Gal Vardi and Ohad Shamir
Opublikowane w: 2023
Wydawca: ALT

The Sample Complexity of One-Hidden-Layer Neural Networks

Autorzy: Gal Vardi, Ohad Shamir and Nathan Srebro
Opublikowane w: 2022
Wydawca: NeurIPS

Learning a Single Neuron with Bias Using Gradient Descent

Autorzy: Gal Vardi, Gilad Yehudai, Ohad Shamir
Opublikowane w: 2021
Wydawca: NeurIP

Deterministic nonsmooth nonconvex optimization

Autorzy: M Jordan, G Kornowski, T Lin, O Shamir, M Zampetakis
Opublikowane w: 2023
Wydawca: Proceedings of COLT 2023

Width is Less Important than Depth in ReLU Neural Networks

Autorzy: Gal Vardi, Gilad Yehudai and Ohad Shamir
Opublikowane w: 2022
Wydawca: COLT

Open Problem: Anytime Convergence Rate of Gradient Descent

Autorzy: G Kornowski, O Shamir
Opublikowane w: 2024
Wydawca: Proceedings of COLT 2024

Gradient Methods Provably Converge to Non-Robust Networks

Autorzy: Gal Vardi, Gilad Yehudai and Ohad Shamir
Opublikowane w: 2022
Wydawca: NeurIPS

Reconstructing Training Data from Trained Neural Networks

Autorzy: Niv Haim, Gal Vardi, Gilad Yehudai, Ohad Shamir, Michal Irani
Opublikowane w: 2022
Wydawca: NeurIPS

The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Autorzy: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Opublikowane w: 2021
Wydawca: COLT 2021

The Effects of Mild Over-parameterization on the Optimization Landscapeof Shallow ReLU Neural Networks

Autorzy: Itay Safran, Gilad Yehudai and Ohad Shamir
Opublikowane w: 2021
Wydawca: COLT 2021

Implicit Regularization in ReLU Networks with the Square Loss

Autorzy: Gal Vardi and Ohad Shamir
Opublikowane w: 2021
Wydawca: COLT 2021

Oracle Complexity in Nonsmooth Nonconvex Optimization

Autorzy: Guy Kornowski and Ohad Shamir
Opublikowane w: 2021
Wydawca: NeurIPS

Depth Separation in Norm-Bounded Infinite-Width Neural Networks

Autorzy: S Parkinson, G Ongie, R Willett, O Shamir, N Srebro
Opublikowane w: 2024
Wydawca: Proceedings of COLT 2024

The Implicit Bias of Benign Overfitting

Autorzy: Ohad Shamir
Opublikowane w: 2022
Wydawca: COLT

Reconstructing Training Data from Multiclass Neural Networks

Autorzy: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Irani, Michal
Opublikowane w: Workshop on the pitfalls of limited data and computation for Trustworthy ML, ICLR 2023, 2023
Wydawca: ICLR

Logarithmic Width Suffices for Robust Memorization

Autorzy: A Egosi, G Yehudai, O Shamir
Opublikowane w: 2025
Wydawca: COLT 2025

Are ResNets Provably Better than Linear Predictors?

Autorzy: Ohad Shamir
Opublikowane w: 2018
Wydawca: NeurIPS conference

On the Power and Limitations of Random Features for Understanding Neural Networks

Autorzy: Gilad Yehudai and Ohad Shamir
Opublikowane w: 2019
Wydawca: NeurIPS conference

Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks

Autorzy: Ohad Shamir
Opublikowane w: 2019
Wydawca: COLT conference

Depth Separations in Neural Networks: What is Actually Being Separated?

Autorzy: Itay Safran, Ronen Eldan, Ohad Shamir
Opublikowane w: 2019
Wydawca: COLT conference

The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Autorzy: Dylan Foster, Ayush Sekhari, Ohad Shamir, Nathan Srebro, Karthik Sridharan, Blake Woodworth
Opublikowane w: 2019
Wydawca: COLT conference

Learning a Single Neuron with Gradient Methods

Autorzy: Gilad Yehudai and Ohad Shamir
Opublikowane w: 2020
Wydawca: COLT 2020

How Good is SGD with Random Shuffling?

Autorzy: Itay Safran and Ohad Shamir
Opublikowane w: 2020
Wydawca: COLT 2020

Proving the Lottery Ticket Hypothesis: Pruning is All You Need

Autorzy: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
Opublikowane w: 2020
Wydawca: ICML 2020

From tempered to benign overfitting in relu neural networks

Autorzy: Guy Kornowski, Gilad Yehudai, Ohad Shamir
Opublikowane w: 2023
Wydawca: Advances in Neural Information Processing Systems

Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems

Autorzy: Itay Safran and Ohad Shamir
Opublikowane w: 2021
Wydawca: NeurIPS

On the Optimal Memorization Power of ReLU Neural Networks

Autorzy: Gal Vardi, Gilad Yehudai, Ohad Shamir
Opublikowane w: The Optimal Memorization Power of ReLU Neural Networks ICLR 2022, 2022
Wydawca: ICLR

Size and Depth Separation in Approximating Natural Functions with Neural Networks

Autorzy: Gal Vardi, Daniel Reichman, Toniann Pitassi, Ohad Shamir
Opublikowane w: 2021
Wydawca: COLT 2021

Generalization in kernel regression under realistic assumptions

Autorzy: Daniel Barzilai, Ohad Shamir
Opublikowane w: 2024
Wydawca: Proceedings of ICML 2024

Beyond Benign Overfitting in Nadaraya-Watson Interpolators

Autorzy: D Barzilai, G Kornowski, O Shamir
Opublikowane w: 2025
Wydawca: NeurIPS 2025

Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Autorzy: Buzaglo, Gon; Haim, Niv; Yehudai, Gilad; Vardi, Gal; Oz, Yakir; Nikankin, Yaniv; Irani, Michal
Opublikowane w: 37th Conference on Neural Information Processing Systems (NeurIPS 2023), 2023
Wydawca: Neural Information Processing Systems

The oracle complexity of simplex-based matrix games: Linear separability and nash equilibria

Autorzy: G Kornowski, O Shamir
Opublikowane w: 2025
Wydawca: COLT 2025

On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization

Autorzy: Guy Kornowski, Swati Padmanabhan, Ohad Shamir
Opublikowane w: 2024
Wydawca: NeurIPS Workshop on Optimization for Machine Learning 2024

Peer reviewed articles (2)

Gradient Methods Never Overfit On Separable Data

Autorzy: Ohad Shamir
Opublikowane w: Journal of Machine Learning Research, 2020, ISSN 1533-7928
Wydawca: None (independent electronic journal)

An algorithm with optimal dimension-dependence for zero-order nonsmooth nonconvex stochastic optimization

Autorzy: G Kornowski, O Shamir
Opublikowane w: Journal of Machine Learning Research, 2024, ISSN 1533-7928
Wydawca: Journal of Machine Learning Research

Other (5)

Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Data Manifolds

Autorzy: Odelia Melamed, Gilad Yehudai, Gal Vardi
Opublikowane w: 2023
Wydawca: arXiv

Simple Relative Deviation Bounds for Covariance and Gram Matrices

Autorzy: Daniel Barzilai, Ohad Shamir
Opublikowane w: 2024
Wydawca: arXiv

Hardness of learning fixed parities with neural networks

Autorzy: Itamar Shoshani, Ohad Shamir
Opublikowane w: 2025
Wydawca: arXiv

Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?

Autorzy: Ohad Shamir
Opublikowane w: 2020
Wydawca: arXiv preprint

On the Complexity of Finding Small Subgradients in Nonsmooth Optimization

Autorzy: Guy Kornowski and Ohad Shamir
Opublikowane w: 2022
Wydawca: arXiv