Objetivo
Edge deployment of Large Language Models (LLMs) plays a vital role in ensuring low latency, reducing communication overhead, and enhancing privacy, bridging the gap unaddressed by cloud and on-device LLMs. However, edge LLMs face daunting challenges due to resource constraints and highly dynamic, heterogeneous environments. Notably, the Mixture-of-Experts (MoE) architecture, as seen in models like DeepSeek, has emerged as a promising solution for edge deployment. MoE enables sparse activation, dramatically lowering computational load and supporting collaborative, distributed deployment. This adaptability makes MoE-based LLMs well-suited for challenging edge scenarios. Still, several barriers persist. MoE-based LLMs typically have larger parameter sizes than dense models, requiring substantial cache memory, which strains edge resources. Additionally, frequent and voluminous inter-server data transfers, combined with limited bandwidth in edge networks compared to cloud data centers, form a critical performance bottleneck. The complexity is further compounded by the diverse and fluctuating demands of edge resources and applications, making collaborative resource allocation and efficient scheduling particularly difficult. To address these issues, advanced strategies are proposed in this project. Inter-server and intra-server collaborative deployment methods partition models based on expert activation paths and similarities, ensuring efficient distribution across edge servers and optimal expert scheduling within each server. Mixed-precision quantization enables dynamic adaptation of expert bit-widths, balancing resource constraints, application requirements, and expert popularity. Innovative token pruning and fusion mechanisms reduce data transfer frequency and volume, enhancing overall inference efficiency. This project establishes the theoretical foundations and practical methodologies for realizing high-performance and ubiquitous edge LLMs.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
Este proyecto aún no se ha clasificado con EuroSciVoc.
Sugiera los ámbitos científicos que considere más relevantes y ayúdenos a mejorar nuestro servicio de clasificación.
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) HORIZON-MSCA-2025-PF
Ver todos los proyectos financiados en el marco de esta convocatoriaCoordinador
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
100 44 STOCKHOLM
Suecia
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.