Projektbeschreibung
Verständnis der Engpässe beim Training für modernes maschinelles Lernen
Trotz des zunehmenden Einsatzes moderner Modelle des maschinellen Lernens bleibt ihre Entwicklung weitgehend undokumentiert und schwer nachvollziehbar. Die hohen Kosten und ressourcenintensiven Trainingsprozesse erschweren das Verständnis, während die derzeitigen theoretischen Rahmenwerke nur begrenzte Einblicke bieten. Dies hat zur Folge, dass maschinelles Lernen für Unternehmen und Forscher ohne große Ressourcen nur begrenzt zugänglich ist. Das über die Marie-Skłodowska-Curie-Maßnahmen unterstützte Projekt Bernar zielt darauf ab, unser Verständnis von Engpässen beim Training neuronaler Netze und deren negativen Auswirkungen auf die Optimierung zu verbessern und herauszufinden, wie man diese Probleme lösen kann. Im Rahmen des Projekts wird ermittelt, wo zusätzliche algorithmische Ressourcen benötigt werden, es werden neue Engpässe aufgedeckt und eine Theorie zur Früherkennung von Engpässen entwickelt, um verbesserte Leistungen zu erwirken.
Ziel
Modern machine learning models have been successfully deployed across fields, from scientific studies to tech-
nological developments in industry, but their development remains poorly understood. The training of a large
language model such as GPT-3 is estimated to cost $4.6M and public attempts to replicate the training process
alone required teams of engineers to rotating on-call for months, monitoring various statistics and constantly
tweaking the training procedure when it broke. Existing theoretical frameworks offer limited insights into this
process, as they do not capture the main difficulties that arise in practice when training neural networks, leaving
practitioners to rely on error-prone heuristics and expensive trial-and-error. This leads not only to a large devel-
opment cost dominated by wasted resources, but also limits the possible impacts of machine learning to areas
considered profitable by industries that have the resources to carry this development.
The objective of this project is to build a better understanding of how recently identified bottlenecks in neural
network training slow down optimization and how to adress them. The specific aims are to: (a) Understand
the impact of class imbalance on the dynamics of neural networks to identify where to allocate algorithmic
resources. (b) Develop a theory to capture optimization difficulties early in training to guide the development
of algorithms that improve performance during this crucial phase. (c) Identify new bottlenecks that arise from
applications to new data types.
The project combines experimental expertise of the postdoctoral and the theoretical expertise of the host insti-
tution to identify and describe the real impact of data characteristics on neural network training. Understanding
these bottlenecks will help develop more efficient and reliable algorithms and guidelines on best practices that
depend on properties of the data.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz heuristische Programmierung
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Wir bitten um Entschuldigung ... während der Ausführung ist ein unerwarteter Fehler aufgetreten.
Sie müssen sich authentifizieren. Ihre Sitzung ist möglicherweise abgelaufen.
Vielen Dank für Ihr Feedback. Sie erhalten in Kürze eine E-Mail zur Übermittlungsbestätigung. Wenn Sie sich für eine Benachrichtigung über den Berichtsstatus entschieden haben, werden Sie auch im Falle einer Änderung des Berichtsstatus benachrichtigt.
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) HORIZON-MSCA-2024-PF-01
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenKoordinator
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
78153 Le Chesnay Cedex
Frankreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.