Descrizione del progetto
Una nuova teoria per descrivere l'apprendimento delle reti neurali profonde dalle correlazioni di ordine superiore
Come gli esseri umani, le reti neurali profonde (DNN, deep neural network) possono apprendere da interrelazioni complesse e dettagliate tra più punti di dati (le cosiddette correlazioni di ordine superiore o HOC, da high-order correlation), estraendo caratteristiche specifiche dei dati; ciononostante, i quadri teorici esistenti non colgono questa capacità. Il progetto beyond2, finanziato dal CER, si propone di sviluppare una teoria che spieghi ciò che le DNN apprendono dalle HOC, nonché il modo in cui lo fanno. Per superare l'ipotesi irrealistica degli input gaussiani nelle teorie attuali, il progetto estenderà i metodi della fisica statistica e della statistica ad alta dimensionalità al fine di gestire distribuzioni di input non gaussiani. Il team di ricerca addestrerà le DNN tramite la discesa stocastica del gradiente al fine di scoprire come apprendere in modo efficiente dalle HOC e approfondire la relazione tra le cosiddette componenti principali delle HOC e le proprietà fondamentali dei dati.
Obiettivo
Deep neural networks (DNNs) have revolutionised how we learn from data. Rather than requiring careful engineering and domain knowledge to extract features from raw data, DNNs learn the relevant features for a task automatically from data. In particular, high-order correlations (HOCs) of the data are crucial for both the performance of DNNs and the type of features they learn. However, existing theoretical frameworks cannot capture the impact of HOCs – they either study “lazy” regimes where DNNs do not learn data-specific features, or they rely on the unrealistic assumption of Gaussian inputs devoid of non-trivial HOCs.
beyond2 will develop a theory for how and what neural networks learn from the high-order correlations of their data. We break the problem into two parts:
(i) *How?* We analyse the learning dynamics of neural networks trained by stochastic gradient descent to unveil the mechanism by which they learn from HOCs efficiently (in terms of the minimum amount of training data / learning time required to attain satisfactory predictive performance).
(ii) *What?* Our preliminary research suggests that neural filters are primarily determined by the “principal components” of HOCs. We investigate how these principal components relate to fundamental data properties, such as symmetries of the inputs.
We attack these problems by extending methods from statistical physics and high-dimensional statistics to handle non-Gaussian input distributions. Studying the interplay between data structure and learning dynamics will allow understanding how specific learning mechanisms, like attention or recursion, are able to unwrap HOCs.
By shifting the focus from unstructured to non-Gaussian data models, beyond2 will yield new insights into the inner workings of neural networks. These insights will bring theory closer to practice and might facilitate the safe deployment of neural networks in high-stakes applications.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
- scienze naturali informatica e scienze dell'informazione intelligenza artificiale intelligenza computazionale
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Siamo spiacenti… si è verificato un errore inatteso durante l’esecuzione.
È necessario essere autenticati. La sessione potrebbe essere scaduta.
Grazie per il tuo feedback. Riceverai presto un'e-mail di conferma dell'invio. Se hai scelto di ricevere una notifica sullo stato della segnalazione, sarai contattato anche quando lo stato della segnalazione cambierà.
Parole chiave
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMMA PRINCIPALE
Vedi tutti i progetti finanziati nell’ambito di questo programma
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
HORIZON-ERC - HORIZON ERC Grants
Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
(si apre in una nuova finestra) ERC-2024-STG
Vedi tutti i progetti finanziati nell’ambito del bandoIstituzione ospitante
Contributo finanziario netto dell’UE. La somma di denaro che il partecipante riceve, decurtata dal contributo dell’UE alla terza parte collegata. Tiene conto della distribuzione del contributo finanziario dell’UE tra i beneficiari diretti del progetto e altri tipi di partecipanti, come i partecipanti terzi.
34136 Trieste
Italia
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.