Opis projektu
Badanie wąskich gardeł nowoczesnego uczenia maszynowego
Pomimo rosnącej popularności nowoczesnych modeli uczenia maszynowego, ich rozwój pozostaje w dużej mierze nieudokumentowany i trudny do zrozumienia. Wysokie koszty i zasobochłonne procesy treningu utrudniają ich zrozumienie, a obecne ramy teoretyczne oferują ograniczoną wiedzę. To ogranicza dostępność uczenia maszynowego dla przemysłu i badaczy, którzy nie dysponują znaczącymi zasobami. Zespół finansowanego ze środków działania „Maria Skłodowska-Curie” projektu Bernar ma na celu lepsze zrozumienie wąskich gardeł w rozwoju sieci neuronowych, ich negatywnego wpływu na optymalizację oraz sposobów radzenia sobie z tymi wyzwaniami. Zespół wskaże, gdzie potrzebne są dodatkowe zasoby algorytmiczne, zidentyfikuje wąskie gardła i opracuje teorię wczesnego wykrywania wąskich gardeł w celu poprawy efektywności.
Cel
Modern machine learning models have been successfully deployed across fields, from scientific studies to tech-
nological developments in industry, but their development remains poorly understood. The training of a large
language model such as GPT-3 is estimated to cost $4.6M and public attempts to replicate the training process
alone required teams of engineers to rotating on-call for months, monitoring various statistics and constantly
tweaking the training procedure when it broke. Existing theoretical frameworks offer limited insights into this
process, as they do not capture the main difficulties that arise in practice when training neural networks, leaving
practitioners to rely on error-prone heuristics and expensive trial-and-error. This leads not only to a large devel-
opment cost dominated by wasted resources, but also limits the possible impacts of machine learning to areas
considered profitable by industries that have the resources to carry this development.
The objective of this project is to build a better understanding of how recently identified bottlenecks in neural
network training slow down optimization and how to adress them. The specific aims are to: (a) Understand
the impact of class imbalance on the dynamics of neural networks to identify where to allocate algorithmic
resources. (b) Develop a theory to capture optimization difficulties early in training to guide the development
of algorithms that improve performance during this crucial phase. (c) Identify new bottlenecks that arise from
applications to new data types.
The project combines experimental expertise of the postdoctoral and the theoretical expertise of the host insti-
tution to identify and describe the real impact of data characteristics on neural network training. Understanding
these bottlenecks will help develop more efficient and reliable algorithms and guidelines on best practices that
depend on properties of the data.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Przepraszamy… podczas wykonywania operacji wystąpił nieoczekiwany błąd.
Wymagane uwierzytelnienie. Powodem może być wygaśnięcie sesji.
Dziękujemy za przesłanie opinii. Wkrótce otrzymasz wiadomość e-mail z potwierdzeniem zgłoszenia. W przypadku wybrania opcji otrzymywania powiadomień o statusie zgłoszenia, skontaktujemy się również gdy status ulegnie zmianie.
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) HORIZON-MSCA-2024-PF-01
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaKoordynator
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
78153 Le Chesnay Cedex
Francja
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.