Descrizione del progetto
Superare le strozzature nei processi di apprendimento profondo
L’apprendimento profondo ha offerto enormi vantaggi a molteplici applicazioni industriali grazie all’addestramento e all’uso di reti neurali profonde accurate e di grandi dimensioni in un processo distribuito. Sfortunatamente, tuttavia, diverse sfide, e in particolare il rischio di strozzature significative nella distribuzione durante la fase di ricezione dei dati delle librerie di addestramento, possono determinare una massiccia perdita di denaro, tempo ed energia. Il progetto FastML, finanziato dal CER, intende contribuire a ridurre ed evitare questo rischio sviluppando un framework per l’addestramento distribuito che riduce gli overhead di distribuzione nella parallelizzazione dei carichi di lavoro di addestramento distribuiti. A tal fine, il progetto si avvarrà di nuove tecniche algoritmiche e software che riducono gli overhead di distribuzione, mantenendo al contempo l’accuratezza e la convergenza dell’addestramento.
Obiettivo
Deep Learning is an area of massive progress, with myriad applications and significant industry adoption. A key enabler of its progress is the ability to train large, highly-accurate Deep Neural Networks (DNNs) in a distributed fashion, across tens to thousands of different computational nodes. Yet, DNN training at scale poses severe challenges to standard paradigms in distributed computing; existing distributed training approaches and their practical implementations, via training libraries such as PyTorch or TensorFlow, often suffer from major distribution bottlenecks, which can significantly reduce computational efficiency, leading to wasted time, money, and energy.
The FastML proof-of-concept (PoC) project will tackle this efficiency challenge head-on, by introducing a distributed training framework that will significantly reduce or even eliminate the overheads of parallelization for practical distributed training workloads, in common usage scenarios. FastMLs distinctive feature is leveraging the algorithmic and software techniques developed by our ERC Starting Grant, in order to reduce distribution overheads at scale without impacting training convergence or model accuracy. FastML stands in contrast to current distribution techniques, which rely on hardware overprovisioningessentially, providing very fast but also very expensive interconnects between the computing nodes. As such, FastML can bring significant infrastructure and running cost improvements to its users, as well as lowering the cost and hardware entry barrier to training accurate machine learning models. The PoC will design and develop the FastML software library to target industry-relevant workloads via pilot projects jointly with our industrial partners. In addition, we will perform an in-depth market study, devise intellectual property and go-to-market strategies, and produce a minimally-viable product (MVP), which will be demonstrated to potential customers and investors.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Siamo spiacenti… si è verificato un errore inatteso durante l’esecuzione.
È necessario essere autenticati. La sessione potrebbe essere scaduta.
Grazie per il tuo feedback. Riceverai presto un'e-mail di conferma dell'invio. Se hai scelto di ricevere una notifica sullo stato della segnalazione, sarai contattato anche quando lo stato della segnalazione cambierà.
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMMA PRINCIPALE
Vedi tutti i progetti finanziati nell’ambito di questo programma
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
HORIZON-ERC-POC - HORIZON ERC Proof of Concept Grants
Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
(si apre in una nuova finestra) ERC-2023-POC
Vedi tutti i progetti finanziati nell’ambito del bandoIstituzione ospitante
Contributo finanziario netto dell’UE. La somma di denaro che il partecipante riceve, decurtata dal contributo dell’UE alla terza parte collegata. Tiene conto della distribuzione del contributo finanziario dell’UE tra i beneficiari diretti del progetto e altri tipi di partecipanti, come i partecipanti terzi.
3400 KLOSTERNEUBURG
Austria
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.