Dynamics-Aware Theory of Deep Learning

Informazioni relative al progetto

DYNASTY

ID dell’accordo di sovvenzione: 101039676

DOI

10.3030/101039676

Data della firma CE 3 Giugno 2022

Data di avvio 1 Ottobre 2022

Data di completamento 30 Settembre 2027

Finanziato da

• European Research Council (ERC)

Costo totale

€ 1 498 410,00

Contributo UE

€ 1 498 410,00

Coordinato da

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
France

CORDIS fornisce collegamenti ai risultati finali pubblici e alle pubblicazioni dei progetti ORIZZONTE.

I link ai risultati e alle pubblicazioni dei progetti del 7° PQ, così come i link ad alcuni tipi di risultati specifici come dataset e software, sono recuperati dinamicamente da .OpenAIRE .

Risultati finali

Documents, reports (1)

Data Management Plan

Drafting of Data Management Plan

Pubblicazioni

Conference proceedings (15)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD

Autori: Wan, Yijun; Barsbey, Melih; Şimşekli, Umut; Zaidi, Abdellatif
Pubblicato in: The Thirty-Seventh Annual Conference on Neural Information Processing Systems (NeurIPS), Dec 2023, New Orleans, United States, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2306.08125

Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation

Autori: Benjamin Dupuis, Umut Simsekli
Pubblicato in: NeurIPS, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2402.07723

Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent

Autori: Krunoslav Pavasovic, Alain Durmus, Umut Simsekli
Pubblicato in: NeurIPS, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2310.18455

From Mutual Information to Expected Dynamics: New Generalization Bounds for Heavy-Tailed SGD

Autori: Benjamin Dupuis, Paul Viallard
Pubblicato in: NeurIPS Workshop on Heavy Tails in Machine Learning, 2023
Editore: Openreview

Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent

Autori: Lim, Soon Hoe; Wan, Yijun; Şimşekli, Umut
Pubblicato in: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022
Editore: PMLR
DOI: 10.48550/arxiv.2205.11361

Piecewise deterministic generative models

Autori: Andrea Bertazzi, Dario Shariatian, Umut Simsekli, Eric Moulines, Alain Durmus
Pubblicato in: NeurIPS, 2024
Editore: PMLR
DOI: 10.48550/arxiv.2407.19448

Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions

Autori: Raj, Anant; Zhu, Lingjiong; Gürbüzbalaban, Mert; Şimşekli, Umut
Pubblicato in: ICML, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2301.11885

Learning via Wasserstein-Based High Probability Generalisation Bounds

Autori: Viallard, Paul; Haddouche, Maxime; Şimşekli, Umut; Guedj, Benjamin
Pubblicato in: NeurIPS 2023, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2306.04375

Generalization Bounds with Data-dependent Fractal Dimensions

Autori: Dupuis, Benjamin; Deligiannidis, George; Şimşekli, Umut
Pubblicato in: ICML, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2302.02766

Generalization Guarantees via Algorithm-dependent Rademacher Complexity

Autori: Sachs, Sarah; van Erven, Tim; Hodgkinson, Liam; Khanna, Rajiv; Şimşekli, Umut
Pubblicato in: COLT 2023 - 36th Annual Conference on Learning Theory, 2023, Bangalore (Virtual event), India, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2307.02501

Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms

Autori: Rayna Andreeva, Benjamin Dupuis, Rik Sarkar, Tolga Birdal, Umut Simsekli
Pubblicato in: NeurIPS, 2024
Editore: PMLR
DOI: 10.48550/arxiv.2407.08723

Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent

Autori: Zhu, Lingjiong; Gurbuzbalaban, Mert; Raj, Anant; Şimşekli, Umut
Pubblicato in: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems,, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2305.12056

Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers

Autori: Park, Sejun; Şimşekli, Umut; Erdogdu, Murat A.
Pubblicato in: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022, ISSN 1049-5258
Editore: PMLR
DOI: 10.48550/arxiv.2209.08951

Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models

Autori: Raj, Anant; Şimşekli, Umut; Rudi, Alessandro
Pubblicato in: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems, Dec 2023, New Orleans, United States, 2023
Editore: PMLR
DOI: 10.48550/arxiv.2303.17109

Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares

Autori: Raj, Anant; Barsbey, Melih; Gürbüzbalaban, Mert; Zhu, Lingjiong; Şimşekli, Umut
Pubblicato in: ALT 2023 - 34th International Conference on Algorithmic Learning Theory, Feb 2023, Singapore, Singapore, 2022
Editore: PMLR
DOI: 10.48550/arxiv.2206.01274

Peer reviewed articles (1)

Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize

Autori: Gürbüzbalaban, Mert; Hu, Yuanhan; Şimşekli, Umut; Zhu, Lingjiong
Pubblicato in: TMLR, 2023, ISSN 2835-8856
Editore: PMLR
DOI: 10.48550/arxiv.2302.05516