Re-thinking Efficiency in Deep Learning under Accelerators and commodity and processors

Informations projet

REDIAL

N° de convention de subvention: 805194

DOI

10.3030/805194

Projet clôturé

Date de signature de la CE 10 Octobre 2019

Date de début 1 Septembre 2020

Date de fin 31 Août 2025

Financé au titre de

• EXCELLENT SCIENCE - European Research Council (ERC)

Coût total

€ 1 495 036,00

Contribution de l’UE

€ 1 495 036,00

Coordonné par

THE CHANCELLOR MASTERS AND SCHOLARS OF THE UNIVERSITY OF CAMBRIDGE
United Kingdom

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Conference proceedings (18)

Secure aggregation for federated learning in flower

Auteurs: Kwing Hei Li; Pedro Porto Buarque de Gusmão; Daniel J. Beutel; Nicholas D. Lane
Publié dans: Proceedings of the 2nd ACM International Workshop on Distributed Machine Learning, Numéro 1, 2021, Page(s) 8-14
Éditeur: ACM
DOI: 10.48550/arxiv.2205.06117

PROSPECT PRUNING: FINDING TRAINABLE WEIGHTSAT INITIALIZATION USING META-GRADIENTS

Auteurs: Milad Alizadeh, Shyam A. Tailor, Luisa Zintgraf 3 Joost van Amersfoort 1 Sebastian Farquhar 1 Nicholas Donald Lane 2,4 Yarin Gal 1
Publié dans: International Conference on Learning Representations, Numéro 1, 2022
Éditeur: ICLR

Differentiable Neural Network Pruning to Enable Smart Applications on Microcontrollers

Auteurs: Edgar Liberis, Nicholas D Lane
Publié dans: 2023, ISSN 2474-9567
Éditeur: ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies IMWUT
DOI: 10.48550/arxiv.2110.08350

Federated Self-supervised Speech Representations: Are We There Yet?

Auteurs: Yan Gao, Javier Fernandez-Marques, Titouan Parcollet, Abhinav Mehrotra, Nicholas D. Lane
Publié dans: 2022
Éditeur: Interspeech 2022

Di!erentiable Neural Network Pruning to Enable Smart Applicationson Microcontrollers

Auteurs: EDGAR LIBERIS, NICHOLAS D. LANE
Publié dans: ACM IMWUT Journal, Numéro 1, 2022
Éditeur: ACM

Deep learning on microcontrollers

Auteurs: Svoboda, Filip; Fernandez-Marques, Javier; Liberis, Edgar; Lane, Nicholas D.
Publié dans: isbn: 9781450392549, Numéro 1, 2022
Éditeur: 2nd Workshop on Machine Learning and Systems, EuroMLSys

Gradient-less Federated Gradient Boosting Tree with Learnable Learning Rates

Auteurs: Chenyang Ma, Xinchi Qiu, Daniel Beutel, Nicholas Lane
Publié dans: 2023
Éditeur: 3rd Workshop on Machine Learning and Systems

Federated Self-supervised Learning for Video Understanding

Auteurs: Yasar Abbas Ur Rehman, Yan Gao, Jiajun Shen, Pedro Porto Buarque de Gusmão, Nicholas Lane
Publié dans: 2022
Éditeur: 17th European Conference on Computer Vision

ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

Auteurs: Qiu, Xinchi; Fernandez-Marques, Javier; Gusmao, Pedro PB; Gao, Yan; Parcollet, Titouan; Lane, Nicholas Donald
Publié dans: 2022
Éditeur: International Conference on Learning Representations
DOI: 10.48550/arxiv.2208.02507

PHOTON: Federated LLM Pre-Training

Auteurs: Lorenzo Sani, Alexandru-Andrei Iacob, Zeyu Cao, Royson Lee, Bill Marino, Yan Gao, Dongqi Cai, Zexi Li, Wanru Zhao, Xinchi Qiu, Nicholas D. Lane
Publié dans: 2025
Éditeur: MLSys 2025

End-to-End Speech Recognition from Federated Acoustic Models

Auteurs: Yan Gao, Titouan Parcollet, Salah Zaiem, Javier Fernandez-Marques, Pedro P. B. de Gusmao, Daniel J. Beutel, Nicholas Lane
Publié dans: 2022
Éditeur: IEEE International Conference on Acoustics, Speech and Signal Processing

μNAS: Constrained Neural Architecture Search for Microcontrollers

Auteurs: Edgar Liberis, Łukasz Dudziak, Nicholas D. Lane
Publié dans: Proceedings of the 1st Workshop on Machine Learning and Systems (EuroMLSys), 2021
Éditeur: ACM

Can Fair Federated Learning reduce the need for Personalisation?

Auteurs: Alex Iacob, Pedro Porto Buarque Gusmão, Nicholas Lane
Publié dans: 2023
Éditeur: 3rd Workshop on Machine Learning and Systems

Protea: Client profiling within federated systems using flower

Auteurs: Wanru Zhao, Xinchi Qiu, Javier Fernandez-Marques, Pedro PB de Gusmão, Nicholas D Lane
Publié dans: 2022
Éditeur: 1st ACM Workshop on Data Privacy and Federated Learning Technologies for Mobile Edge Network

Deep Learning on Microcontrollers: A Studyon Deployment Costs and Challenges

Auteurs: Filip Svoboda Javier Fernandez-Marques Edgar Liberis Nicholas D. Lane
Publié dans: Proceedings of EuroMLSys, 2022
Éditeur: ACM
DOI: 10.1145/3517207.3526978

DEPT: Decoupled Embeddings for Pretraining Language Models

Auteurs: Alex Iacob, Lorenzo Sani, Meghdad Kurmanji, William F. Shen, Xinchi Qiu, Dongqi Cai, Yan Gao, Nicholas D. Lane
Publié dans: 2025
Éditeur: ICLR 2025

FedVal: Different good or different bad in federated learning

Auteurs: Viktor Valadi, Xinchi Qiu, Pedro Porto Buarque de Gusmão, Nicholas D. Lane, Mina Alibeigi
Publié dans: 2023
Éditeur: 32nd USENIX Security Symposium

Meta-Learned Kernel For Blind Super-Resolution Kernel Estimation

Auteurs: Royson Lee, Rui Li, Stylianos Venieris, Timothy Hospedales, Ferenc Huszár, Nicholas D Lane
Publié dans: 2024
Éditeur: IEEE/CVF Winter Conference on Applications of Computer Vision

Peer reviewed articles (3)

Fedl2p: Federated learning to personalize

Auteurs: Royson Lee, Minyoung Kim, Da Li, Xinchi Qiu, Timothy Hospedales, Ferenc Huszár, Nicholas Lane
Publié dans: Advances in Neural Information Processing Systems, Numéro Volume 36, 2023, Page(s) 14818-14836, ISSN 1049-5258
Éditeur: Advances in Neural Information Processing Systems

MobiVQA: Efficient On-Device Visual Question Answering

Auteurs: Qingqing Cao, Prerna Khanna, Nicholas D. Lane, Aruna Balasubramanian
Publié dans: ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Numéro 1, 2022, Page(s) Volume 6 Numéro 2. July 2022, ISSN 2474-9567
Éditeur: ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies IMWUT

A first look into the carbon footprint of federated learning

Auteurs: Xinchi Qiu, Titouan Parcollet, Javier Fernandez-Marques, Pedro PB de Gusmao, Yan Gao, Daniel J Beutel, Taner Topal, Akhil Mathur, Nicholas D Lane
Publié dans: Journal of Machine Learning Research, 2023, Page(s) Volume 24 Numéro 1. January 2023, ISSN 1533-7928
Éditeur: Journal of Machine Learning Research

Other (2)

The Future of Large Language Model Pre-training is Federated

Auteurs: Lorenzo Sani, Alex Iacob, Zeyu Cao, Bill Marino, Yan Gao, Tomas Paulik, Wanru Zhao, William F Shen, Preslav Aleksandrov, Xinchi Qiu, Nicholas D Lane
Publié dans: 2024
Éditeur: ArXiv pre-print

Pex: Memory-efficient Microcontroller Deep Learning through Partial Execution

Auteurs: Edgar Liberis, Nicholas D. Lane
Publié dans: 2022
Éditeur: ArXiv pre-print