Descripción del proyecto
Más es mejor, pero ¿por qué? Comprensión los modelos satisfactorios de formación de redes neuronales
Las redes neuronales pueden «aprender» de los datos de entrada y las situaciones, lo que mejora su capacidad predictiva para problemas similares y diferentes con iteraciones sucesivas. Los llamados modelos sobreparametrizados se encuentran entre los más populares para entrenar redes neuronales. Estos tienen más parámetros de los que se pueden estimar a partir de los datos de entrenamiento, es decir, hay más parámetros de los necesarios para ajustarse perfectamente a todos los puntos de datos. A pesar de su éxito empírico, el conocimiento teórico de cómo se optimizan estos modelos y cómo se generalizan sus resultados para producir una aproximación universal sigue sin entenderse bien. Con el apoyo de las Acciones Marie Skłodowska-Curie, el equipo del proyecto NN-OVEROPT mejorará los conocimientos para proporcionar mejores algoritmos de optimización para la formación.
Objetivo
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Programa(s)
Régimen de financiación
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)Coordinador
78153 Le Chesnay Cedex
Francia