Descrizione del progetto
L’adattamento profondo del kernel per spiegare le prestazioni dell’apprendimento automatico
Attualmente, gli scienziati non dispongono di una comprensione sufficiente in merito ai limiti all’apprendimento imposti dalle dimensioni dei set di dati e dall’ampiezza delle reti, il che risulta fondamentale nel contesto del classico limite dell’apprendimento nella fisica statistica, alla luce della rapida espansione dei set di dati reali in atto. Sostenuto dal programma di azioni Marie Skłodowska-Curie, il progetto SOTA mira a dimostrare che l’output di una rete può essere previsto da una misura di similarità tra i punti dati (un kernel efficace) che mostra un adattamento a bassa dimensionalità al set di dati. Unendo l’apprendimento «pigro» (calcolo ritardato fino alla previsione) con quello «ricco» (aggiornamenti attivi dei pesi per estrarre caratteristiche), SOTA lavorerà allo sviluppo di una spiegazione meccanicistica analizzando inoltre correzioni irrilevanti per il limite classico, sebbene altamente rilevanti per set di dati di maggiori dimensioni.
Obiettivo
The AI revolution is under way, yet we still lack a thermodynamic understanding of deep learning, that is explaining what a network can learn in the limit of large dataset and large network width.
The central proposal of SOTA is that, the output of a deep network on real data can be predicted by an effective kernel - a similarity measure between data points - that shows simple low-dimensional adaptation to the dataset. This reconnects two regimes often seen as completely different: “lazy” learning (where a fixed kernel predictor explains outputs) and “rich” learning (where network features are plastic and little understood).
Indeed, SOTA argues that rich learning in fully-connected networks effectively reduces predictor variance, while almost no adaptation of the mean predictor is predicted and observed. Convolutional networks instead show local adaptations of the kernel that also change the mean predictor.
This is where the number of data samples is proportional to width, the classical limit in statistical physics of learning. Due to the abundance (or augmentation) of data in recent deep learning practice, also the quadratic sample-width limit will need to be investigated.
Based on these consequential observations, a three-pronged investigation is proposed:
- Comparison of predictions to large-scale Monte-Carlo experiments on real data.
- Mechanistic explanation through a proposed mechanism of auto-ensembling.
- Analysis of corrections to the effective action that are sub-leading in the proportional limit, but become relevant when data is more abundant.
SOTA disrupts widely held assumptions about rich learning, and makes major progress on a long-standing challenge: Explaining the performance of deep, nonlinear networks in the feature learning regime, on real data, through a simple, effective theory.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
La classificazione di questo progetto è stata convalidata da un essere umano.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
La classificazione di questo progetto è stata convalidata da un essere umano.
Parole chiave
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
PROGRAMMA PRINCIPALE
Vedi tutti i progetti finanziati nell’ambito di questo programma
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
(si apre in una nuova finestra) HORIZON-MSCA-2025-PF
Vedi tutti i progetti finanziati nell’ambito del bandoCoordinatore
Contributo finanziario netto dell’UE. La somma di denaro che il partecipante riceve, decurtata dal contributo dell’UE alla terza parte collegata. Tiene conto della distribuzione del contributo finanziario dell’UE tra i beneficiari diretti del progetto e altri tipi di partecipanti, come i partecipanti terzi.
43121 PARMA
Italia
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.