Statistical Mechanics of Learning

Projektinformationen

SMILE

ID Finanzhilfevereinbarung: 714608

DOI

10.3030/714608

Projekt abgeschlossen

EK-Unterschriftsdatum 16 November 2016

Startdatum 1 September 2017

Enddatum 28 Februar 2023

Finanziert unter

• EXCELLENT SCIENCE - European Research Council (ERC)

Gesamtkosten

€ 1 346 795,00

EU-Beitrag

€ 1 346 795,00

Koordiniert durch

ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE
Switzerland

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Veröffentlichungen

Peer reviewed articles (32)

The planted XY model: thermodynamics and inference

Autoren: Siyu Chen; Guanhao Huang; Giovanni Piccioli; Lenka Zdeborová
Veröffentlicht in: Phys. Rev. E, Ausgabe 106, 2022, Seite(n) 054115, ISSN 2470-0045
Herausgeber: American Physical Society
DOI: 10.48550/arxiv.2208.06488

Probing transfer learning with a model of synthetic correlated datasets

Autoren: Federica Gerace; Luca Saglietti; Stefano Sarao Mannelli; Andrew Saxe; Lenka Zdeborová
Veröffentlicht in: Mach. Learn.: Sci. Technol., Ausgabe 5, 2022, Seite(n) 015030, ISSN 2632-2153
Herausgeber: IOP publishing
DOI: 10.1088/2632-2153/ac4f3f

Perturbative construction of mean-field equations in extensive-rank matrix factorization and denoising

Autoren: Antoine Maillard; Florent Krzakala; Marc Mézard; and Lenka Zdeborová;
Veröffentlicht in: J. Stat. Mech., Ausgabe 2022, 2022, Seite(n) 083301, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ac7e4c

Bayesian reconstruction of memories stored in neural networks from their connectivity

Autoren: Sebastian Goldt; Florent Krzakala; Lenka Zdeborová; Nicolas Brunel
Veröffentlicht in: PLoS Comput Biol, Ausgabe 19, 2023, Seite(n) 1, ISSN 1553-734X
Herausgeber: Public Library of Science
DOI: 10.48550/arxiv.2105.07416

Learning curves of generic features maps for realistic datasets with a teacher-student model

Autoren: Loureiro, Bruno; Gerbelot, Cédric; Cui, Hugo; Goldt, Sebastian; Krzakala, Florent; Mézard, Marc; Zdeborová, Lenka
Veröffentlicht in: J. Stat. Mech., Ausgabe 114001, 2022, Seite(n) 114001, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ac9825

Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification*

Autoren: Mignacco, Francesca; Krzakala, Florent; Urbani, Pierfrancesco; Zdeborová, Lenka
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment,, 2021, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ac3a80

Modeling the Influence of Data Structure on Learning in Neural Networks: The Hidden Manifold Model

Autoren: Sebastian Goldt; Marc Mézard; Florent Krzakala; Lenka Zdeborová
Veröffentlicht in: PHYSICAL REVIEW X, Ausgabe 10, 041044, 2020, ISSN 2160-3308
Herausgeber: American Physical Society
DOI: 10.1103/physrevx.10.041044

Large Deviations of Semi-supervised Learning in the Stochastic Block Model

Autoren: Cui, Hugo; Saglietti, Luca; Zdeborová, Lenka
Veröffentlicht in: Phys. Rev. E, Ausgabe 105, 034108, 2022, ISSN 2470-0045
Herausgeber: American Physical Society
DOI: 10.1103/physreve.105.034108

Large deviations for the perceptron model and consequences for active learning

Autoren: Cui, Hugo; Saglietti, Luca; Zdeborová, Lenka
Veröffentlicht in: Machine Learning: Science and Technology, Ausgabe Volume 2, Number 4, 2021, ISSN 2632-2153
Herausgeber: IOP Publishing Ltd
DOI: 10.1088/2632-2153/abfbbb

Generalisation error in learning with random features and the hidden manifold model*

Autoren: Gerace, Federica; Loureiro, Bruno; Krzakala, Florent; Mezard, Marc; Zdeborová, Lenka
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, 2021, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ac3ae6

Dynamics of stochastic gradient descent for two-layer neural networks in the teacher-student setup.

Autoren: Sebastian Goldt; Madhu Advani; Andrew M. Saxe; Florent Krzakala; Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, 2020, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/abc61e

Glassy Nature of the Hard Phase in Inference Problems

Autoren: Fabrizio Antenucci, Silvio Franz, Pierfrancesco Urbani, Lenka Zdeborová
Veröffentlicht in: Physical Review X, Ausgabe 9/1, 2019, ISSN 2160-3308
Herausgeber: American Physical Society
DOI: 10.1103/PhysRevX.9.011020

Optimal errors and phase transitions in high-dimensional generalized linear models

Autoren: Jean Barbier, Florent Krzakala, Nicolas Macris, Léo Miolane, Lenka Zdeborová
Veröffentlicht in: Proceedings of the National Academy of Sciences, Ausgabe 116/12, 2019, Seite(n) 5451-5460, ISSN 0027-8424
Herausgeber: National Academy of Sciences
DOI: 10.1073/pnas.1802705116

Typology of phase transitions in Bayesian inference problems

Autoren: Federico Ricci-Tersenghi, Guilhem Semerjian, Lenka Zdeborová
Veröffentlicht in: Physical Review E, Ausgabe 99/4, 2019, ISSN 2470-0045
Herausgeber: American Physical Society
DOI: 10.1103/PhysRevE.99.042109

Approximate survey propagation for statistical inference

Autoren: Fabrizio Antenucci, Florent Krzakala, Pierfrancesco Urbani, Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, Ausgabe 2019/2, 2019, Seite(n) 023401, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/aafa7d

Information-theoretic thresholds from the cavity method

Autoren: Amin Coja-Oghlan, Florent Krzakala, Will Perkins, Lenka Zdeborová
Veröffentlicht in: Advances in Mathematics, Ausgabe 333, 2018, Seite(n) 694-795, ISSN 0001-8708
Herausgeber: Academic Press
DOI: 10.1016/j.aim.2018.05.029

Minimal sets to destroy the k -core in random networks

Autoren: Christian Schmidt, Henry D. Pfister, Lenka Zdeborová
Veröffentlicht in: Physical Review E, Ausgabe 99/2, 2019, ISSN 2470-0045
Herausgeber: American Physical Society
DOI: 10.1103/PhysRevE.99.022310

Storage capacity in symmetric binary perceptrons

Autoren: Benjamin Aubin, Will Perkins, Lenka Zdeborová
Veröffentlicht in: Journal of Physics A: Mathematical and Theoretical, Ausgabe 52/29, 2019, Seite(n) 294003, ISSN 1751-8113
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1751-8121/ab227a

Machine learning and the physical sciences

Autoren: Giuseppe Carleo, Ignacio Cirac, Kyle Cranmer, Laurent Daudet, Maria Schuld, Naftali Tishby, Leslie Vogt-Maranto, Lenka Zdeborová
Veröffentlicht in: Reviews of Modern Physics, Ausgabe 91/4, 2019, ISSN 0034-6861
Herausgeber: American Physical Society
DOI: 10.1103/RevModPhys.91.045002

On the universality of noiseless linear estimation with respect to the measurement matrix

Autoren: Alia Abbara, Antoine Baker, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Journal of Physics A: Mathematical and Theoretical, Ausgabe 53/16, 2020, Seite(n) 164001, ISSN 1751-8113
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1751-8121/ab59ef

Entropy and mutual information in models of deep neural networks

Autoren: Marylou Gabrié, Andre Manoel, Clément Luneau, Jean Barbier, Nicolas Macris, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, Ausgabe 2019/12, 2019, Seite(n) 124014, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ab3430

The committee machine: computational to statistical gaps in learning a two-layers neural network

Autoren: Benjamin Aubin, Antoine Maillard, Jean Barbier, Florent Krzakala, Nicolas Macris, Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, Ausgabe 2019/12, 2019, Seite(n) 124023, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ab43d2

Marvels and Pitfalls of the Langevin Algorithm in Noisy High-Dimensional Inference

Autoren: Stefano Sarao Mannelli, Giulio Biroli, Chiara Cammarota, Florent Krzakala, Pierfrancesco Urbani, Lenka Zdeborová
Veröffentlicht in: Physical Review X, Ausgabe 10/1, 2020, ISSN 2160-3308
Herausgeber: American Physical Society
DOI: 10.1103/physrevx.10.011057

Dense limit of the Dawid–Skene model for crowdsourcing and regions of sub-optimality of message passing algorithms

Autoren: Christian Schmidt, Lenka Zdeborová
Veröffentlicht in: Journal of Physics A: Mathematical and Theoretical, Ausgabe 53/12, 2020, Seite(n) 124001, ISSN 1751-8113
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1751-8121/ab757f

Thresholds of descending algorithms in inference problems

Autoren: Stefano Sarao Mannelli, Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, Ausgabe 2020/3, 2020, Seite(n) 034004, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ab7123

Blind calibration for compressed sensing: State evolution and an online algorithm

Autoren: Marylou Gabrié, Jean Barbier, Florent Krzakala, Lenka Zdeborova
Veröffentlicht in: Journal of Physics A: Mathematical and Theoretical, 2020, ISSN 1751-8113
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1751-8121/ab8416

High-temperature expansions and message passing algorithms

Autoren: Antoine Maillard, Laura Foini, Alejandro Lage Castellanos, Florent Krzakala, Marc Mézard, Lenka Zdeborová
Veröffentlicht in: Journal of Statistical Mechanics: Theory and Experiment, Ausgabe 2019/11, 2019, Seite(n) 113301, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ab4bbb

Learning curves for the multi-class teacher-student perceptron

Autoren: Elisabetta Cornacchia; Francesca Mignacco; Rodrigo Veiga; Cedric Gerbelot; Bruno Loureiro; Lenka Zdeborova
Veröffentlicht in: Mach. Learn.: Sci. Technol., Ausgabe 4, 2023, Seite(n) 015019, ISSN 2632-2153
Herausgeber: Institute of Physics
DOI: 10.48550/arxiv.2203.12094

Stochasticity helps to navigate rough landscapes: comparing gradient-descent-based algorithms in the phase retrieval problem

Autoren: Francesca Mignacco; Pierfrancesco Urbani; Lenka Zdeborová
Veröffentlicht in: Machine Learning: Science and Technology, Ausgabe 2 (3), 2021, Seite(n) 035029, ISSN 2632-2153
Herausgeber: IOP Publishing
DOI: 10.1088/2632-2153/ac0615

(Dis)assortative partitions on random regular graphs

Autoren: Behrens, Freya; Arpino, Gabriel; Kivva, Yaroslav; Zdeborová, Lenka
Veröffentlicht in: J. Phys. A: Math. Theor., Ausgabe 55, 2022, Seite(n) 395004, ISSN 1751-8113
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1751-8121/ac8b46

An analytical theory of curriculum learning in teacher–student networks*

Autoren: Luca Saglietti; Stefano Sarao Mannelli; Andrew Saxe
Veröffentlicht in: J. Stat. Mech., Ausgabe 2022, 2022, Seite(n) 114014, ISSN 1742-5468
Herausgeber: Institute of Physics
DOI: 10.1088/1742-5468/ac9b3c

The Spiked Matrix Model With Generative Priors

Autoren: Benjamin Aubin; Bruno Loureiro; Antoine Maillard; Florent Krzakala; Lenka Zdeborová
Veröffentlicht in: IEEE Transactions on Information Theory, Ausgabe Volume: 67, Ausgabe: 2, 2021, ISSN 0018-9448
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tit.2020.3033985

Conference proceedings (23)

Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization

Autoren: Aubin, Benjamin; Krzakala, Florent; Lu, Yue M.; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020
Herausgeber: NeurIPS Proceedings

Multi-layer State Evolution Under Random Convolutional Design

Autoren: Max Daniels, Cedric Gerbelot, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Advances in Neural Information Processing Systems (NeurIPS 2022), Ausgabe 35, 2022
Herausgeber: NuerIPS
DOI: 10.48550/arxiv.2205.13503

Learning Gaussian Mixtures with Generalized Linear Models: Precise Asymptotics in High-dimensions

Autoren: Bruno Loureiro, Gabriele Sicuro, Cedric Gerbelot, Alessandro Pacco, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021), 2021
Herausgeber: NeurIPS Proceedings

The role of regularization in classification of high-dimensional noisy Gaussian mixture

Autoren: Mignacco, Francesca; Krzakala, Florent; Lu, Yue,; Zdeborová, Lenka
Veröffentlicht in: Proceedings of the 37th International Conference on Machine Learning, Ausgabe PMLR 119:6874-6883, 2020
Herausgeber: Cambridge MA: JMLR

Rademacher complexity and spin glasses: A link between the replica and statistical theories of learning

Autoren: Abbara, Alia; Aubin, Benjamin; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Proceedings of The First Mathematical and Scientific Machine Learning Conference,, Ausgabe PMLR 107, 2020, Seite(n) 27-54, ISSN 2640-3498
Herausgeber: Cambridge MA: JMLR

Solvable Model for Inheriting the Regularization through Knowledge Distillation

Autoren: Saglietti, Luca; Zdeborová, Lenka
Veröffentlicht in: Proceedings of the 2nd Mathematical and Scientific Machine Learning Conference, Ausgabe 145, 2022, Seite(n) 809-846
Herausgeber: PMLR
DOI: 10.48550/arxiv.2012.00194

Exact asymptotics for phase retrieval and compressed sensing with random generative priors

Autoren: Aubin, Benjamin; Loureiro, Bruno; Baker, Antoine; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Proceedings of The First Mathematical and Scientific Machine Learning Conference,, Ausgabe PMLR 107, 2020, Seite(n) 55-73
Herausgeber: Cambridge MA: JMLR

The Gaussian equivalence of generative models for learning with two-layer neural networks

Autoren: Goldt, Sebastian; Loureiro, Bruno; Reeves, Galen; Krzakala, Florent; Mezard, Marc; Zdeborová, Lenka
Veröffentlicht in: Proceedings of the 2nd Mathematical and Scientific Machine Learning Conference, Ausgabe 145, 2022, Seite(n) 426-471
Herausgeber: PMLR
DOI: 10.48550/arxiv.2006.14709

Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed

Autoren: Refinetti, Maria; Goldt, Sebastian; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Proceedings of the 38th International Conference on Machine Learning, Ausgabe PMLR 139:8936-8947, 2021
Herausgeber: Cambridge MA: JMLR

Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

Autoren: Cui, Hugo; Loureiro, Bruno; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021), 2021
Herausgeber: NeurIPS Proceedings

Streaming Bayesian inference: Theoretical limits and mini-batch approximate message-passing

Autoren: Andre Manoel, Florent Krzakala, Eric W. Tramel, Lenka Zdeborova
Veröffentlicht in: 2017 55th Annual Allerton Conference on Communication, Control, and Computing (Allerton), 2017, Seite(n) 1048-1055, ISBN 978-1-5386-3266-6
Herausgeber: IEEE
DOI: 10.1109/allerton.2017.8262853

Who is Afraid of Big Bad Minima? Analysis of Gradient-Flow in a Spiked Matrix-Tensor Model

Autoren: Mannelli, Stefano Sarao; Biroli, Giulio; Cammarota, Chiara; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 32, 2019
Herausgeber: Curran Associates, Inc.

Passed & Spurious: Descent Algorithms and Local Minima in Spiked Matrix-Tensor Models

Autoren: Mannelli, Stefano Sarao; Krzakala, Florent; Urbani, Pierfrancesco; Zdeborová, Lenka
Veröffentlicht in: Proceedings of Machine Learning Research, 2019
Herausgeber: PMLR

Generalisation dynamics of online learning in over-parameterised neural networks

Autoren: Goldt, Sebastian; Advani, Madhu S.; Saxe, Andrew M.; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: https://hal-cea.archives-ouvertes.fr/cea-02009764, Ausgabe 1, 2019
Herausgeber: N/A

The spiked matrix model with generative priors

Autoren: Benjamin Aubin, Bruno Loureiro, Antoine Maillard, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Advances in Neural Information Processing Systems 32, 2019
Herausgeber: Curran Associates, Inc.

Complex Dynamics in Simple Neural Networks: Understanding Gradient Flow in Phase Retrieval

Autoren: Stefano, Sarao Mannelli; Biroli, Giulio; Cammarota, Chiara; Krzakala, Florent; Urbani, Pierfrancesco; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020
Herausgeber: NeurIPS Proceedings

Construction of optimal spectral methods in phase retrieval

Autoren: Maillard, Antoine; Krzakala, Florent; Yue, lu; Zdeborová, Lenka
Veröffentlicht in: Proceedings of the 2nd Mathematical and Scientific Machine Learning Conference, Ausgabe 145, 2022, Seite(n) 693-72
Herausgeber: PMLR
DOI: 10.48550/arxiv.2012.04524

Subspace clustering in high-dimensions: Phase transitions & Statistical-to-Computational gap

Autoren: Luca Pesce, Bruno Loureiro, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Advances in Neural Information Processing Systems (NeurIPS 2022), Ausgabe 35, 2022
Herausgeber: NeurIPS
DOI: 10.48550/arxiv.2205.13527

Phase retrieval in high dimensions: Statistical and computational phase transitions

Autoren: Maillard, Antoine; Loureiro, Bruno; Krzakala, Florent; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020
Herausgeber: NeurIPS Proceedings

Optimization and Generalization of Shallow Neural Networks with Quadratic Activation Functions

Autoren: Sarao Manelli, Stefano; Vanden-Eijnden, Eric; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020
Herausgeber: NeurIPS Proceedings

Learning curves of generic features maps for realistic datasets with a teacher-student model

Autoren: Loureiro, Bruno; Gerbelot, Cédric; Cui, Hugo; Goldt, Sebastian; Krzakala, Florent; Mézard, Marc; Zdeborová, Lenka
Veröffentlicht in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021), 2021
Herausgeber: NeurIPS Proceedings

Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks

Autoren: Rodrigo Veiga, Ludovic Stephan, Bruno Loureiro, Florent Krzakala, Lenka Zdeborová
Veröffentlicht in: Advances in Neural Information Processing Systems (NeurIPS 2022), Ausgabe 35, 2022
Herausgeber: NeurIPS
DOI: 10.48550/arxiv.2202.00293

Optimal denoising of rotationally invariant rectangular matrices

Autoren: Emanuele Troiani, Vittorio Erba, Florent Krzakala, Antoine Maillard, Lenka Zdeborova
Veröffentlicht in: Proceedings of Mathematical and Scientific Machine Learning, Ausgabe 190, 2022, Seite(n) 97-112
Herausgeber: PMLR
DOI: 10.48550/arxiv.2203.07752