Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Distributed learning based on 1-bit gradient coding

Descripción del proyecto

Soluciones para un aprendizaje distribuido más rápido

El aprendizaje distribuido afronta dos grandes retos: los retrasos causados por los trabajadores más lentos, conocidos como rezagados, y los elevados costes de comunicación derivados del envío de grandes volúmenes de datos. La codificación de gradiente (CG) puede ayudar con los rezagados, mientras que el uso de datos de un bit reduce las cargas de comunicación. Sin embargo, los métodos actuales no abordan ambos problemas a la vez, especialmente cuando se transmiten datos de un bit. Las técnicas de CG actuales también tienen dificultades para trabajar con vectores codificados de un bit. Con el apoyo de las acciones Marie Skłodowska-Curie, el proyecto 1-Bit GC-DL aborda estos problemas desarrollando nuevos enfoques para el aprendizaje distribuido. Introduce el método 1-Bit GC-DL, que utiliza la codificación de gradiente de un bit para gestionar los rezagados y reducir al mismo tiempo el tamaño de los datos. Además, un segundo método, 1-Bit LA-GC-DL, reduce aún más el tiempo de entrenamiento seleccionando solo los trabajadores clave para cada iteración.

Objetivo

In the framework of distributed learning, to mitigate the negative impact of the stragglers on the training time, the gradient coding (GC) technique has been adopted. On the other hand, to deal with high communication burden in distributed learning, 1-bit gradient vectors can be transmitted instead of real-valued ones. However, the existing distributed learning method based on 1-bit data does not take stragglers into account. In addition, current GC techniques are only designed for the distributed learning scheme where real-valued encoded vectors are transmitted and it is difficult to apply them under the case where 1-bit vectors are transmitted.

To overcome the above drawbacks and to reduce the communication overhead and the training time simultaneously, this project aims to propose novel distributed learning methods based on GC with 1-bit data. First, this project will propose a distributed learning method named 1-Bit GC-DL, which develops a 1-bit GC strategy to encode the locally computed gradient vectors of the allocated subsets into 1-bit data. Based on that, the aggregation rule at the central server for the received 1-bit data will be designed, which guarantees that the central server computes an approximated version of the true gradient vector in the presence of a certain number of stragglers to. Second, to further reduce the training time of 1-Bit GC-DL, this project will propose a lazily aggregated distributed learning method based on 1-bit GC, i.e. 1-Bit LA-GC-DL, by combining 1-Bit GC-DL with the lazily aggregated strategy. In 1-Bit LA-GC-DL, only a fraction of the workers participate in local training during each iteration and this project will provide the criterion for selecting the participating workers based on Age of Information. The proposed methods will be compared with other state-of-the-art methods in the context of distributed learning on both simulated and realistic datasets under practical scenarios.

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) HORIZON-MSCA-2023-PF-01

Ver todos los proyectos financiados en el marco de esta convocatoria

Coordinador

KUNGLIGA TEKNISKA HOEGSKOLAN
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 206 887,68
Dirección
BRINELLVAGEN 8
100 44 STOCKHOLM
Suecia

Ver en el mapa

Región
Östra Sverige Stockholm Stockholms län
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

Sin datos
Mi folleto 0 0