Projektbeschreibung
Warum mehr besser ist: Erfolgreiche Trainingsmodelle für neuronale Netze verstehen
Neuronale Netze können aus Eingabedaten und -szenarien „lernen“ und auf diese Weise ihre Vorhersagefähigkeit im Zusammenhang mit ähnlichen und anderen Problemen mittels aufeinanderfolgender Iterationen verbessern. Sogenannte überparametrisierte Modelle zählen zu den beliebtesten Modellen für das Training neuronaler Netze. Sie weisen mehr Parameter auf, als aus den Trainingsdaten geschätzt werden können, d. h. es gibt mehr Parameter, als für eine perfekte Anpassung aller Datenpunkte erforderlich sind. Ungeachtet ihres empirischen Erfolgs lässt das theoretische Verständnis dafür, wie diese Modelle optimiert und ihre Ergebnisse verallgemeinert werden können, um zu einer universellen Annäherung zu gelangen, immer noch zu wünschen übrig. Das Projekt NN-OVEROPT wird mit Unterstützung der Marie-Skłodowska-Curie-Maßnahmen hier den Erkenntnisstand verbessern, um für das Training bessere Optimierungsalgorithmen bereitzustellen.
Ziel
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht.
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Schlüsselbegriffe
Programm/Programme
Thema/Themen
Aufforderung zur Vorschlagseinreichung
Andere Projekte für diesen Aufruf anzeigenFinanzierungsplan
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)Koordinator
78153 Le Chesnay Cedex
Frankreich