Descrizione del progetto
Di più è meglio, ma perché? Comprendere i modelli di addestramento di successo delle reti neurali
Le reti neurali possono «apprendere» da dati e scenari in ingresso, migliorando la propria capacità predittiva per problemi simili e differenti con iterazioni successive. I cosiddetti modelli sovraparametrizzati sono tra i più diffusi per l’addestramento delle reti neurali. Tali modelli hanno più parametri di quanti ne possano venire stimati dai dati di addestramento, il che significa che vi sono più parametri di quanti ne siano necessari per adattarsi perfettamente a tutti i punti dati. Nonostante il loro successo empirico, la comprensione teorica del modo in cui questi modelli sono ottimizzati e delle modalità attraverso cui i loro risultati vengono generalizzati allo scopo di produrre un’approssimazione universale è tuttora scarsamente compresa. Con il sostegno del programma di azioni Marie Skłodowska-Curie, il progetto NN-OVEROPT migliorerà la comprensione in tal ambito allo scopo di fornire migliori algoritmi di ottimizzazione per l’addestramento.
Obiettivo
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Parole chiave
Programma(i)
Argomento(i)
Meccanismo di finanziamento
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)Coordinatore
78153 Le Chesnay Cedex
Francia