Dynamics-Aware Theory of Deep Learning

Informacje na temat projektu

DYNASTY

Identyfikator umowy o grant: 101039676

DOI

10.3030/101039676

Data podpisania przez KE 3 Czerwca 2022

Data rozpoczęcia 1 Października 2022

Data zakończenia 30 Września 2027

Finansowanie w ramach

• European Research Council (ERC)

Koszt całkowity

€ 1 498 410,00

Wkład UE

€ 1 498 410,00

Koordynowany przez

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE
France

CORDIS oferuje możliwość skorzystania z odnośników do publicznie dostępnych publikacji i rezultatów projektów realizowanych w ramach programów ramowych HORYZONT.

Odnośniki do rezultatów i publikacji związanych z poszczególnymi projektami 7PR, a także odnośniki do niektórych konkretnych kategorii wyników, takich jak zbiory danych i oprogramowanie, są dynamicznie pobierane z systemu OpenAIRE .

Rezultaty

Documents, reports (1)

Data Management Plan

Drafting of Data Management Plan

Publikacje

Conference proceedings (15)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD

Autorzy: Wan, Yijun; Barsbey, Melih; Şimşekli, Umut; Zaidi, Abdellatif
Opublikowane w: The Thirty-Seventh Annual Conference on Neural Information Processing Systems (NeurIPS), Dec 2023, New Orleans, United States, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2306.08125

Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation

Autorzy: Benjamin Dupuis, Umut Simsekli
Opublikowane w: NeurIPS, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2402.07723

Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent

Autorzy: Krunoslav Pavasovic, Alain Durmus, Umut Simsekli
Opublikowane w: NeurIPS, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2310.18455

From Mutual Information to Expected Dynamics: New Generalization Bounds for Heavy-Tailed SGD

Autorzy: Benjamin Dupuis, Paul Viallard
Opublikowane w: NeurIPS Workshop on Heavy Tails in Machine Learning, 2023
Wydawca: Openreview

Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent

Autorzy: Lim, Soon Hoe; Wan, Yijun; Şimşekli, Umut
Opublikowane w: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022
Wydawca: PMLR
DOI: 10.48550/arxiv.2205.11361

Piecewise deterministic generative models

Autorzy: Andrea Bertazzi, Dario Shariatian, Umut Simsekli, Eric Moulines, Alain Durmus
Opublikowane w: NeurIPS, 2024
Wydawca: PMLR
DOI: 10.48550/arxiv.2407.19448

Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions

Autorzy: Raj, Anant; Zhu, Lingjiong; Gürbüzbalaban, Mert; Şimşekli, Umut
Opublikowane w: ICML, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2301.11885

Learning via Wasserstein-Based High Probability Generalisation Bounds

Autorzy: Viallard, Paul; Haddouche, Maxime; Şimşekli, Umut; Guedj, Benjamin
Opublikowane w: NeurIPS 2023, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2306.04375

Generalization Bounds with Data-dependent Fractal Dimensions

Autorzy: Dupuis, Benjamin; Deligiannidis, George; Şimşekli, Umut
Opublikowane w: ICML, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2302.02766

Generalization Guarantees via Algorithm-dependent Rademacher Complexity

Autorzy: Sachs, Sarah; van Erven, Tim; Hodgkinson, Liam; Khanna, Rajiv; Şimşekli, Umut
Opublikowane w: COLT 2023 - 36th Annual Conference on Learning Theory, 2023, Bangalore (Virtual event), India, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2307.02501

Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms

Autorzy: Rayna Andreeva, Benjamin Dupuis, Rik Sarkar, Tolga Birdal, Umut Simsekli
Opublikowane w: NeurIPS, 2024
Wydawca: PMLR
DOI: 10.48550/arxiv.2407.08723

Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent

Autorzy: Zhu, Lingjiong; Gurbuzbalaban, Mert; Raj, Anant; Şimşekli, Umut
Opublikowane w: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems,, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2305.12056

Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers

Autorzy: Park, Sejun; Şimşekli, Umut; Erdogdu, Murat A.
Opublikowane w: NeurIPS 2022 - Thirty-sixth Conference on Neural Information Processing Systems, 2022, ISSN 1049-5258
Wydawca: PMLR
DOI: 10.48550/arxiv.2209.08951

Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models

Autorzy: Raj, Anant; Şimşekli, Umut; Rudi, Alessandro
Opublikowane w: NeurIPS 2023 - Thirty-seventh Annual Conference on Neural Information Processing Systems, Dec 2023, New Orleans, United States, 2023
Wydawca: PMLR
DOI: 10.48550/arxiv.2303.17109

Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares

Autorzy: Raj, Anant; Barsbey, Melih; Gürbüzbalaban, Mert; Zhu, Lingjiong; Şimşekli, Umut
Opublikowane w: ALT 2023 - 34th International Conference on Algorithmic Learning Theory, Feb 2023, Singapore, Singapore, 2022
Wydawca: PMLR
DOI: 10.48550/arxiv.2206.01274

Peer reviewed articles (1)

Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize

Autorzy: Gürbüzbalaban, Mert; Hu, Yuanhan; Şimşekli, Umut; Zhu, Lingjiong
Opublikowane w: TMLR, 2023, ISSN 2835-8856
Wydawca: PMLR
DOI: 10.48550/arxiv.2302.05516