Dynamics-Aware Theory of Deep Learning

Projektinformationen

DYNASTY

ID Finanzhilfevereinbarung: 101039676

DOI

10.3030/101039676

EK-Unterschriftsdatum 3 Juni 2022

Startdatum 1 Oktober 2022

Enddatum 30 September 2027

Finanziert unter

• European Research Council (ERC)

Gesamtkosten

€ 1 498 410,00

EU-Beitrag

€ 1 498 410,00

Koordiniert durch

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
France

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Documents, reports (1)

Data Management Plan

Drafting of Data Management Plan

Veröffentlichungen

Conference proceedings (15)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD

Autoren: Wan, Yijun; Barsbey, Melih; Şimşekli, Umut; Zaidi, Abdellatif
Veröffentlicht in: The Thirty-Seventh Annual Conference on Neural Information Processing Systems (NeurIPS), Dec 2023, New Orleans, United States, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2306.08125

Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation

Autoren: Benjamin Dupuis, Umut Simsekli
Veröffentlicht in: NeurIPS, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2402.07723

Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent

Autoren: Krunoslav Pavasovic, Alain Durmus, Umut Simsekli
Veröffentlicht in: NeurIPS, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2310.18455

From Mutual Information to Expected Dynamics: New Generalization Bounds for Heavy-Tailed SGD

Autoren: Benjamin Dupuis, Paul Viallard
Veröffentlicht in: NeurIPS Workshop on Heavy Tails in Machine Learning, 2023
Herausgeber: Openreview

Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent

Autoren: Lim, Soon Hoe; Wan, Yijun; Şimşekli, Umut
Veröffentlicht in: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022
Herausgeber: PMLR
DOI: 10.48550/arxiv.2205.11361

Piecewise deterministic generative models

Autoren: Andrea Bertazzi, Dario Shariatian, Umut Simsekli, Eric Moulines, Alain Durmus
Veröffentlicht in: NeurIPS, 2024
Herausgeber: PMLR
DOI: 10.48550/arxiv.2407.19448

Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions

Autoren: Raj, Anant; Zhu, Lingjiong; Gürbüzbalaban, Mert; Şimşekli, Umut
Veröffentlicht in: ICML, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2301.11885

Learning via Wasserstein-Based High Probability Generalisation Bounds

Autoren: Viallard, Paul; Haddouche, Maxime; Şimşekli, Umut; Guedj, Benjamin
Veröffentlicht in: NeurIPS 2023, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2306.04375

Generalization Bounds with Data-dependent Fractal Dimensions

Autoren: Dupuis, Benjamin; Deligiannidis, George; Şimşekli, Umut
Veröffentlicht in: ICML, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2302.02766

Generalization Guarantees via Algorithm-dependent Rademacher Complexity

Autoren: Sachs, Sarah; van Erven, Tim; Hodgkinson, Liam; Khanna, Rajiv; Şimşekli, Umut
Veröffentlicht in: COLT 2023 - 36th Annual Conference on Learning Theory, 2023, Bangalore (Virtual event), India, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2307.02501

Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms

Autoren: Rayna Andreeva, Benjamin Dupuis, Rik Sarkar, Tolga Birdal, Umut Simsekli
Veröffentlicht in: NeurIPS, 2024
Herausgeber: PMLR
DOI: 10.48550/arxiv.2407.08723

Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent

Autoren: Zhu, Lingjiong; Gurbuzbalaban, Mert; Raj, Anant; Şimşekli, Umut
Veröffentlicht in: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems,, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2305.12056

Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers

Autoren: Park, Sejun; Şimşekli, Umut; Erdogdu, Murat A.
Veröffentlicht in: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022, ISSN 1049-5258
Herausgeber: PMLR
DOI: 10.48550/arxiv.2209.08951

Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models

Autoren: Raj, Anant; Şimşekli, Umut; Rudi, Alessandro
Veröffentlicht in: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems, Dec 2023, New Orleans, United States, 2023
Herausgeber: PMLR
DOI: 10.48550/arxiv.2303.17109

Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares

Autoren: Raj, Anant; Barsbey, Melih; Gürbüzbalaban, Mert; Zhu, Lingjiong; Şimşekli, Umut
Veröffentlicht in: ALT 2023 - 34th International Conference on Algorithmic Learning Theory, Feb 2023, Singapore, Singapore, 2022
Herausgeber: PMLR
DOI: 10.48550/arxiv.2206.01274

Peer reviewed articles (1)

Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize

Autoren: Gürbüzbalaban, Mert; Hu, Yuanhan; Şimşekli, Umut; Zhu, Lingjiong
Veröffentlicht in: TMLR, 2023, ISSN 2835-8856
Herausgeber: PMLR
DOI: 10.48550/arxiv.2302.05516