Description du projet
L’adaptation profonde des noyaux pourrait expliquer les performances de l’apprentissage profond
Les scientifiques ne comprennent pas encore suffisamment les limites que la taille des jeux de données et la largeur des réseaux imposent à l’apprentissage. Cette question est cruciale dans le contexte de la limite classique de l’apprentissage en physique statistique, compte tenu de l’expansion rapide des jeux de données réels. Avec le soutien du programme Actions Marie Skłodowska-Curie, le projet SOTA vise à démontrer que la sortie d’un réseau peut être prédite à l’aide d’une mesure de similarité entre les points de données (un noyau effectif) présentant une adaptation de faible dimension au jeu de données. En réunissant l’apprentissage «paresseux» (dans lequel le calcul est différé jusqu’à la prédiction) et l’apprentissage «riche» (dans lequel les poids sont activement mis à jour pour extraire des caractéristiques), SOTA s’attachera à élaborer une explication mécaniste, tout en analysant les corrections qui sont négligeables dans la limite classique, mais particulièrement importantes pour les jeux de données plus volumineux.
Objectif
The AI revolution is under way, yet we still lack a thermodynamic understanding of deep learning, that is explaining what a network can learn in the limit of large dataset and large network width.
The central proposal of SOTA is that, the output of a deep network on real data can be predicted by an effective kernel - a similarity measure between data points - that shows simple low-dimensional adaptation to the dataset. This reconnects two regimes often seen as completely different: “lazy” learning (where a fixed kernel predictor explains outputs) and “rich” learning (where network features are plastic and little understood).
Indeed, SOTA argues that rich learning in fully-connected networks effectively reduces predictor variance, while almost no adaptation of the mean predictor is predicted and observed. Convolutional networks instead show local adaptations of the kernel that also change the mean predictor.
This is where the number of data samples is proportional to width, the classical limit in statistical physics of learning. Due to the abundance (or augmentation) of data in recent deep learning practice, also the quadratic sample-width limit will need to be investigated.
Based on these consequential observations, a three-pronged investigation is proposed:
- Comparison of predictions to large-scale Monte-Carlo experiments on real data.
- Mechanistic explanation through a proposed mechanism of auto-ensembling.
- Analysis of corrections to the effective action that are sub-leading in the proportional limit, but become relevant when data is more abundant.
SOTA disrupts widely held assumptions about rich learning, and makes major progress on a long-standing challenge: Explaining the performance of deep, nonlinear networks in the feature learning regime, on real data, through a simple, effective theory.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
La classification de ce projet a été validée par des humains.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
La classification de ce projet a été validée par des humains.
Mots‑clés
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
PROGRAMME PRINCIPAL
Voir tous les projets financés dans le cadre de ce programme
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Voir tous les projets financés dans le cadre de ce programme de financement
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2025-PF
Voir tous les projets financés au titre de cet appelCoordinateur
La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.
43121 PARMA
Italie
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.