Description du projet
Plus, c’est mieux, mais pourquoi: comprendre les modèles de formation de réseaux neuronaux ayant fait leurs preuves
Les réseaux neuronaux peuvent «tirer des enseignements» des données et des scénarios saisis, améliorant ainsi leur capacité de prédiction de problèmes similaires et différents caractérisés par des itérations successives. Les modèles «surparamétrés» figurent parmi les modèles les plus populaires pour la formation des réseaux neuronaux. Ils présentent plus de paramètres que les données de formation ne le suggèrent. En d’autres termes, il y a plus de paramètres que nécessaire pour remplir parfaitement tous les points de données. Malgré leur succès sur le plan empirique, la compréhension théorique de l’optimisation de ces modèles et de la généralisation de leurs résultats en vue d’obtenir une approximation universelle demeure mal comprise. Grâce au soutien du programme Actions Marie Skłodowska-Curie, le projet NN-OVEROPT améliorera nos connaissances afin de proposer de meilleurs algorithmes d’optimisation pour la formation.
Objectif
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: Le vocabulaire scientifique européen.
- sciences naturelles informatique et science de l'information logiciel développement logiciel
- sciences naturelles informatique et science de l'information intelligence artificielle apprentissage automatique apprentissage profond
- sciences naturelles mathématiques mathématiques appliquées statistique et probabilité
- sciences naturelles mathématiques mathématiques appliquées modèle mathématique
- sciences naturelles informatique et science de l'information intelligence artificielle intelligence de calcul
Vous devez vous identifier ou vous inscrire pour utiliser cette fonction
Nous sommes désolés... Une erreur inattendue s’est produite.
Vous devez être authentifié. Votre session a peut-être expiré.
Merci pour votre retour d'information. Vous recevrez bientôt un courriel confirmant la soumission. Si vous avez choisi d'être informé de l'état de la déclaration, vous serez également contacté lorsque celui-ci évoluera.
Mots‑clés
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
-
H2020-EU.1.3. - EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions
PROGRAMME PRINCIPAL
Voir tous les projets financés dans le cadre de ce programme -
H2020-EU.1.3.2. - Nurturing excellence by means of cross-border and cross-sector mobility
Voir tous les projets financés dans le cadre de ce programme
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)
Voir tous les projets financés dans le cadre de ce programme de financement
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
(s’ouvre dans une nouvelle fenêtre) H2020-MSCA-IF-2020
Voir tous les projets financés au titre de cet appelCoordinateur
La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.
78153 Le Chesnay Cedex
France
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.