Descripción del proyecto
Superación de los cuellos de botella en los procesos de aprendizaje profundo
Gracias al entrenamiento y uso de redes neuronales profundas (RNP) amplias y precisas en un proceso distribuido, el aprendizaje profundo ha ofrecido enormes beneficios a diferentes aplicaciones industriales. Por desgracia, diferentes escollos, sobre todo el riesgo de que aparezcan cuellos de botella notables en la distribución al recibir los datos de la biblioteca de entrenamiento, pueden conllevar una gran pérdida de dinero, tiempo y energía. En el proyecto FastML, financiado por el Consejo Europeo de Investigación, se pretende ayudar a reducir y evitar este riesgo mediante el desarrollo de un marco de entrenamiento distribuido, que reduzca la sobrecarga de distribución en la paralelización para cargas de trabajo de entrenamiento distribuido. Para ello, se emplearán técnicas informáticas y algorítmicas novedosas que reduzcan las sobrecargas generales de distribución y, al mismo tiempo, mantengan la precisión y la convergencia del entrenamiento.
Objetivo
Deep Learning is an area of massive progress, with myriad applications and significant industry adoption. A key enabler of its progress is the ability to train large, highly-accurate Deep Neural Networks (DNNs) in a distributed fashion, across tens to thousands of different computational nodes. Yet, DNN training at scale poses severe challenges to standard paradigms in distributed computing; existing distributed training approaches and their practical implementations, via training libraries such as PyTorch or TensorFlow, often suffer from major distribution bottlenecks, which can significantly reduce computational efficiency, leading to wasted time, money, and energy.
The FastML proof-of-concept (PoC) project will tackle this efficiency challenge head-on, by introducing a distributed training framework that will significantly reduce or even eliminate the overheads of parallelization for practical distributed training workloads, in common usage scenarios. FastMLs distinctive feature is leveraging the algorithmic and software techniques developed by our ERC Starting Grant, in order to reduce distribution overheads at scale without impacting training convergence or model accuracy. FastML stands in contrast to current distribution techniques, which rely on hardware overprovisioningessentially, providing very fast but also very expensive interconnects between the computing nodes. As such, FastML can bring significant infrastructure and running cost improvements to its users, as well as lowering the cost and hardware entry barrier to training accurate machine learning models. The PoC will design and develop the FastML software library to target industry-relevant workloads via pilot projects jointly with our industrial partners. In addition, we will perform an in-depth market study, devise intellectual property and go-to-market strategies, and produce a minimally-viable product (MVP), which will be demonstrated to potential customers and investors.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
Para utilizar esta función, debe iniciar sesión o registrarse
Programa(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Régimen de financiación
HORIZON-ERC-POC - HORIZON ERC Proof of Concept GrantsInstitución de acogida
3400 Klosterneuburg
Austria