Obiettivo
Edge deployment of Large Language Models (LLMs) plays a vital role in ensuring low latency, reducing communication overhead, and enhancing privacy, bridging the gap unaddressed by cloud and on-device LLMs. However, edge LLMs face daunting challenges due to resource constraints and highly dynamic, heterogeneous environments. Notably, the Mixture-of-Experts (MoE) architecture, as seen in models like DeepSeek, has emerged as a promising solution for edge deployment. MoE enables sparse activation, dramatically lowering computational load and supporting collaborative, distributed deployment. This adaptability makes MoE-based LLMs well-suited for challenging edge scenarios. Still, several barriers persist. MoE-based LLMs typically have larger parameter sizes than dense models, requiring substantial cache memory, which strains edge resources. Additionally, frequent and voluminous inter-server data transfers, combined with limited bandwidth in edge networks compared to cloud data centers, form a critical performance bottleneck. The complexity is further compounded by the diverse and fluctuating demands of edge resources and applications, making collaborative resource allocation and efficient scheduling particularly difficult. To address these issues, advanced strategies are proposed in this project. Inter-server and intra-server collaborative deployment methods partition models based on expert activation paths and similarities, ensuring efficient distribution across edge servers and optimal expert scheduling within each server. Mixed-precision quantization enables dynamic adaptation of expert bit-widths, balancing resource constraints, application requirements, and expert popularity. Innovative token pruning and fusion mechanisms reduce data transfer frequency and volume, enhancing overall inference efficiency. This project establishes the theoretical foundations and practical methodologies for realizing high-performance and ubiquitous edge LLMs.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
Questo progetto non è ancora stato classificato con EuroSciVoc.
Suggerisci i campi scientifici che ritieni più rilevanti e aiutaci a migliorare il nostro servizio di classificazione.
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Parole chiave
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Parole chiave del progetto, indicate dal coordinatore del progetto. Da non confondere con la tassonomia EuroSciVoc (campo scientifico).
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
PROGRAMMA PRINCIPALE
Vedi tutti i progetti finanziati nell’ambito di questo programma
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
(si apre in una nuova finestra) HORIZON-MSCA-2025-PF
Vedi tutti i progetti finanziati nell’ambito del bandoCoordinatore
Contributo finanziario netto dell’UE. La somma di denaro che il partecipante riceve, decurtata dal contributo dell’UE alla terza parte collegata. Tiene conto della distribuzione del contributo finanziario dell’UE tra i beneficiari diretti del progetto e altri tipi di partecipanti, come i partecipanti terzi.
100 44 Stockholm
Svezia
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.