Opis projektu
Więcej znaczy lepiej, ale dlaczego: zrozumienie skutecznych modeli do trenowania sieci neuronowych
Sieci neuronowe mogą „uczyć się” na podstawie danych wejściowych i scenariuszy, poprawiając swoją zdolność przewidywania podobnych i innych problemów w kolejnych iteracjach. Do najpopularniejszych metod trenowania sieci neuronowych należą tak zwane modele nadparametryczne. Mają one więcej parametrów niż można oszacować na podstawie danych treningowych, tzn. dysponują większą ilością parametrów niż potrzeba do idealnego dopasowania wszystkich punktów danych. Pomimo ich empirycznej skuteczności wiedza teoretyczna na temat sposobu optymalizacji tych modeli i uogólniania ich wyników w celu uzyskania uniwersalnych przybliżeń pozostaje słabo poznana. Projekt NN-OVEROPT, realizowany przy wsparciu działań „Maria Skłodowska-Curie”, przyczyni się do pogłębienia tej wiedzy w celu opracowania lepszych algorytmów optymalizacji na potrzeby trenowania.
Cel
In recent times, overparametrized models where the number of model parameters far exceeds the number of training samples available are the methods of choice for learning problems and neural networks are amongst the most popular overparametrized methods used heavily in practice. It has been discovered recently that overparametrization surprisingly improves the optimization landscape of a complex non-convex problem, i.e. the training of neural networks, and also has positive effects on the generalization performance. Despite improved empirical performance of overparametrized models like neural networks, the theoretical understanding of these models is quite limited which hinders the progress of the field in the right direction. Any progress in the understanding of the optimization as well as generalization aspects for theses complex models especially neural networks will lead to big technical advancement in the field of machine learning and artificial intelligence. During the Marie Sklodowska-Curie Actions Individual Fellowship-Global Fellowship (MSCA-IF-GF), I plan to study the optimization problem arising while training overparametrized neural networks and generalization in overparametrized neural networks. The end goal for this project is to provide better theoretical understanding of the optimization landscape while training overparametrized models as a result of which to provide better optimization algorithms for training as well as to study the universal approximation guarantees of overparametrized models. We also aim to study the implicit bias induced by optimization algorithms while training overparametrized complex models. To achieve the objective discussed above, I will be using tools from traditional optimization theory, statistical learning theory, gradient flows, as well as from statistical physics.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
- nauki przyrodnicze informatyka oprogramowanie tworzenie oprogramowania
- nauki przyrodnicze informatyka sztuczna inteligencja uczenie maszynowe uczenie głębokie
- nauki przyrodnicze matematyka matematyka stosowana statystyka i rachunek prawdopodobieństwa
- nauki przyrodnicze matematyka matematyka stosowana model matematyczny
- nauki przyrodnicze informatyka sztuczna inteligencja inteligencja obliczeniowa
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Przepraszamy… podczas wykonywania operacji wystąpił nieoczekiwany błąd.
Wymagane uwierzytelnienie. Powodem może być wygaśnięcie sesji.
Dziękujemy za przesłanie opinii. Wkrótce otrzymasz wiadomość e-mail z potwierdzeniem zgłoszenia. W przypadku wybrania opcji otrzymywania powiadomień o statusie zgłoszenia, skontaktujemy się również gdy status ulegnie zmianie.
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
H2020-EU.1.3. - EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu -
H2020-EU.1.3.2. - Nurturing excellence by means of cross-border and cross-sector mobility
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) H2020-MSCA-IF-2020
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaKoordynator
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
78153 Le Chesnay Cedex
Francja
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.