Dynamics-Aware Theory of Deep Learning

Informations projet

DYNASTY

N° de convention de subvention: 101039676

DOI

10.3030/101039676

Date de signature de la CE 3 Juin 2022

Date de début 1 Octobre 2022

Date de fin 30 Septembre 2027

Financé au titre de

• European Research Council (ERC)

Coût total

€ 1 498 410,00

Contribution de l’UE

€ 1 498 410,00

Coordonné par

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
France

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Livrables

Documents, reports (1)

Data Management Plan

Drafting of Data Management Plan

Publications

Conference proceedings (15)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD

Auteurs: Wan, Yijun; Barsbey, Melih; Şimşekli, Umut; Zaidi, Abdellatif
Publié dans: The Thirty-Seventh Annual Conference on Neural Information Processing Systems (NeurIPS), Dec 2023, New Orleans, United States, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2306.08125

Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation

Auteurs: Benjamin Dupuis, Umut Simsekli
Publié dans: NeurIPS, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2402.07723

Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent

Auteurs: Krunoslav Pavasovic, Alain Durmus, Umut Simsekli
Publié dans: NeurIPS, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2310.18455

From Mutual Information to Expected Dynamics: New Generalization Bounds for Heavy-Tailed SGD

Auteurs: Benjamin Dupuis, Paul Viallard
Publié dans: NeurIPS Workshop on Heavy Tails in Machine Learning, 2023
Éditeur: Openreview

Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent

Auteurs: Lim, Soon Hoe; Wan, Yijun; Şimşekli, Umut
Publié dans: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022
Éditeur: PMLR
DOI: 10.48550/arxiv.2205.11361

Piecewise deterministic generative models

Auteurs: Andrea Bertazzi, Dario Shariatian, Umut Simsekli, Eric Moulines, Alain Durmus
Publié dans: NeurIPS, 2024
Éditeur: PMLR
DOI: 10.48550/arxiv.2407.19448

Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions

Auteurs: Raj, Anant; Zhu, Lingjiong; Gürbüzbalaban, Mert; Şimşekli, Umut
Publié dans: ICML, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2301.11885

Learning via Wasserstein-Based High Probability Generalisation Bounds

Auteurs: Viallard, Paul; Haddouche, Maxime; Şimşekli, Umut; Guedj, Benjamin
Publié dans: NeurIPS 2023, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2306.04375

Generalization Bounds with Data-dependent Fractal Dimensions

Auteurs: Dupuis, Benjamin; Deligiannidis, George; Şimşekli, Umut
Publié dans: ICML, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2302.02766

Generalization Guarantees via Algorithm-dependent Rademacher Complexity

Auteurs: Sachs, Sarah; van Erven, Tim; Hodgkinson, Liam; Khanna, Rajiv; Şimşekli, Umut
Publié dans: COLT 2023 - 36th Annual Conference on Learning Theory, 2023, Bangalore (Virtual event), India, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2307.02501

Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms

Auteurs: Rayna Andreeva, Benjamin Dupuis, Rik Sarkar, Tolga Birdal, Umut Simsekli
Publié dans: NeurIPS, 2024
Éditeur: PMLR
DOI: 10.48550/arxiv.2407.08723

Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent

Auteurs: Zhu, Lingjiong; Gurbuzbalaban, Mert; Raj, Anant; Şimşekli, Umut
Publié dans: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems,, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2305.12056

Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers

Auteurs: Park, Sejun; Şimşekli, Umut; Erdogdu, Murat A.
Publié dans: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022, ISSN 1049-5258
Éditeur: PMLR
DOI: 10.48550/arxiv.2209.08951

Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models

Auteurs: Raj, Anant; Şimşekli, Umut; Rudi, Alessandro
Publié dans: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems, Dec 2023, New Orleans, United States, 2023
Éditeur: PMLR
DOI: 10.48550/arxiv.2303.17109

Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares

Auteurs: Raj, Anant; Barsbey, Melih; Gürbüzbalaban, Mert; Zhu, Lingjiong; Şimşekli, Umut
Publié dans: ALT 2023 - 34th International Conference on Algorithmic Learning Theory, Feb 2023, Singapore, Singapore, 2022
Éditeur: PMLR
DOI: 10.48550/arxiv.2206.01274

Peer reviewed articles (1)

Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize

Auteurs: Gürbüzbalaban, Mert; Hu, Yuanhan; Şimşekli, Umut; Zhu, Lingjiong
Publié dans: TMLR, 2023, ISSN 2835-8856
Éditeur: PMLR
DOI: 10.48550/arxiv.2302.05516