Description du projet
Plus, c’est mieux, mais pourquoi: comprendre les modèles de formation de réseaux neuronaux ayant fait leurs preuves
Les réseaux neuronaux peuvent «tirer des enseignements» des données et des scénarios saisis, améliorant ainsi leur capacité de prédiction de problèmes similaires et différents caractérisés par des itérations successives. Les modèles «surparamétrés» figurent parmi les modèles les plus populaires pour la formation des réseaux neuronaux. Ils présentent plus de paramètres que les données de formation ne le suggèrent. En d’autres termes, il y a plus de paramètres que nécessaire pour remplir parfaitement tous les points de données. Malgré leur succès sur le plan empirique, la compréhension théorique de l’optimisation de ces modèles et de la généralisation de leurs résultats en vue d’obtenir une approximation universelle demeure mal comprise. Grâce au soutien du programme Actions Marie Skłodowska-Curie, le projet NN-OVEROPT améliorera nos connaissances afin de proposer de meilleurs algorithmes d’optimisation pour la formation.
Objectif
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN.
Vous devez vous identifier ou vous inscrire pour utiliser cette fonction
Mots‑clés
Programme(s)
Régime de financement
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)Coordinateur
78153 Le Chesnay Cedex
France