Projektbeschreibung
Neue Theorie beschreibt das Lernen tiefer neuronaler Netze aus Korrelationen höherer Ordnung
Wie Menschen können tiefe neuronale Netze aus komplexen und detaillierten Zusammenhängen zwischen mehreren Datenpunkten (sogenannten Korrelationen höherer Ordnung) lernen und datenbezogene Merkmale extrahieren. Die bestehenden theoretischen Rahmen erfassen diese Fähigkeit jedoch nicht. Ziel des ERC-finanzierten Projekts beyond2 ist, eine Theorie zu entwickeln, die erklärt, wie und was tiefe neuronale Netze und Korrelationen höherer Ordnung lernen. Um die unrealistische Annahme von Gaußschen Eingangsverteilungen in den derzeitigen Theorien zu überwinden, werden Methoden aus der statistischen Physik und der hochdimensionalen Statistik erweitert, um mit nicht-Gaußschen Eingangsverteilungen umzugehen. Das Team wird tiefe neuronale Netze mittels stochastischem Gradientenabstieg trainieren, um herauszufinden, wie sie effizient aus Korrelationen höherer Ordnung lernen, und die Beziehung der sogenannten Hauptkomponenten von Korrelationen höherer Ordnung zu grundlegenden Dateneigenschaften untersuchen.
Ziel
Deep neural networks (DNNs) have revolutionised how we learn from data. Rather than requiring careful engineering and domain knowledge to extract features from raw data, DNNs learn the relevant features for a task automatically from data. In particular, high-order correlations (HOCs) of the data are crucial for both the performance of DNNs and the type of features they learn. However, existing theoretical frameworks cannot capture the impact of HOCs – they either study “lazy” regimes where DNNs do not learn data-specific features, or they rely on the unrealistic assumption of Gaussian inputs devoid of non-trivial HOCs.
beyond2 will develop a theory for how and what neural networks learn from the high-order correlations of their data. We break the problem into two parts:
(i) *How?* We analyse the learning dynamics of neural networks trained by stochastic gradient descent to unveil the mechanism by which they learn from HOCs efficiently (in terms of the minimum amount of training data / learning time required to attain satisfactory predictive performance).
(ii) *What?* Our preliminary research suggests that neural filters are primarily determined by the “principal components” of HOCs. We investigate how these principal components relate to fundamental data properties, such as symmetries of the inputs.
We attack these problems by extending methods from statistical physics and high-dimensional statistics to handle non-Gaussian input distributions. Studying the interplay between data structure and learning dynamics will allow understanding how specific learning mechanisms, like attention or recursion, are able to unwrap HOCs.
By shifting the focus from unstructured to non-Gaussian data models, beyond2 will yield new insights into the inner workings of neural networks. These insights will bring theory closer to practice and might facilitate the safe deployment of neural networks in high-stakes applications.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz Computational Intelligence
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.1.1 - European Research Council (ERC)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-ERC - HORIZON ERC Grants
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) ERC-2024-STG
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenGastgebende Einrichtung
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
34136 Trieste
Italien
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.