Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

FastML: Efficient and Cost-Effective Distributed Machine Learning

Opis projektu

Usuwanie wąskich gardeł w procesach uczenia głębokiego

Uczenie głębokie przyniosło ogromne korzyści w wielu zastosowaniach przemysłowych za sprawą trenowania i wykorzystania dużych i dokładnych głębokich sieci neuronowych (DNN) w procesie rozproszonym. Niestety istnieje kilka problemów, w szczególności ryzyko występowania znacznych wąskich gardeł dystrybucji podczas otrzymywania danych z biblioteki szkoleniowej, może powodować ogromne straty pieniędzy, czasu i energii. Finansowany przez ERBN projekt FastML zakłada zmniejszenie i uniknięcie tego ryzyka poprzez opracowanie rozproszonej struktury szkoleniowej, która zmniejsza koszty ogólne dystrybucji w równoległości dla rozproszonych obciążeń szkoleniowych. W tym celu zespół wykorzysta nowatorskie techniki algorytmiczne i programowe, które zmniejszają koszty dystrybucji przy jednoczesnym zachowaniu dokładności i konwergencji szkolenia.

Cel

Deep Learning is an area of massive progress, with myriad applications and significant industry adoption. A key enabler of its progress is the ability to train large, highly-accurate Deep Neural Networks (DNNs) in a distributed fashion, across tens to thousands of different computational nodes. Yet, DNN training at scale poses severe challenges to standard paradigms in distributed computing; existing distributed training approaches and their practical implementations, via training libraries such as PyTorch or TensorFlow, often suffer from major distribution bottlenecks, which can significantly reduce computational efficiency, leading to wasted time, money, and energy.

The FastML proof-of-concept (PoC) project will tackle this efficiency challenge head-on, by introducing a distributed training framework that will significantly reduce or even eliminate the overheads of parallelization for practical distributed training workloads, in common usage scenarios. FastMLs distinctive feature is leveraging the algorithmic and software techniques developed by our ERC Starting Grant, in order to reduce distribution overheads at scale without impacting training convergence or model accuracy. FastML stands in contrast to current distribution techniques, which rely on hardware overprovisioningessentially, providing very fast but also very expensive interconnects between the computing nodes. As such, FastML can bring significant infrastructure and running cost improvements to its users, as well as lowering the cost and hardware entry barrier to training accurate machine learning models. The PoC will design and develop the FastML software library to target industry-relevant workloads via pilot projects jointly with our industrial partners. In addition, we will perform an in-depth market study, devise intellectual property and go-to-market strategies, and produce a minimally-viable product (MVP), which will be demonstrated to potential customers and investors.

Dziedzina nauki (EuroSciVoc)

Program(-y)

Temat(-y)

System finansowania

HORIZON-ERC-POC - HORIZON ERC Proof of Concept Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) ERC-2023-POC

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Wkład UE netto
€ 150 000,00
Adres
Am Campus 1
3400 Klosterneuburg
Austria
Region
Ostösterreich Niederösterreich Wiener Umland/Nordteil
Rodzaj działalności
Higher or Secondary Education Establishments
Linki
Koszt całkowity
Brak danych

Beneficjenci (1)