Algorithmic Bias Control in Deep learning

Informazioni relative al progetto

A-B-C-Deep

ID dell’accordo di sovvenzione: 101039436

DOI 10.3030/101039436

Data della firma CE 17 Maggio 2022

Data di avvio 1 Giugno 2022

Data di completamento 31 Maggio 2027

Finanziato da

• European Research Council (ERC)

Costo totale € 1 500 000,00

Contributo UE € 1 500 000,00

Coordinato da

TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY
Israel

Pubblicazioni

Conference proceedings (13)

How do Minimum-Norm Shallow Denoisers Look in Function Space?

Autori: Zeno, Chen; Ongie, Greg; Blumenfeld, Yaniv; Weinberger, Nir; Soudry, Daniel
Pubblicato in: NeurIPS, 2023
Editore: NeurIPS
DOI: 10.48550/arxiv.2311.06748

The Role of Codeword-to-Class Assignments in Error-Correcting Codes: An Empirical Study

Autori: Evron, Itay; Onn, Ophir; Orzech, Tamar Weiss; Azeroual, Hai; Soudry, Daniel
Pubblicato in: AISTAT, 2023
Editore: AISTAT
DOI: 10.48550/arxiv.2302.05334

DropCompute: simple and more robust distributed synchronous training via compute variance reduction

Autori: Giladi, Niv; Gottlieb, Shahar; Shkolnik, Moran; Karnieli, Asaf; Banner, Ron; Hoffer, Elad; Levy, Kfir Yehuda; Soudry, Daniel
Pubblicato in: NeurIPS, 2023
Editore: NeurIPS
DOI: 10.48550/arxiv.2306.10598

Explore to Generalize in Zero-Shot RL

Autori: Zisselman, Ev; Lavie, Itai; Soudry, Daniel; Tamar, Aviv
Pubblicato in: NeurIPS, 2023
Editore: NeurIPS
DOI: 10.48550/arxiv.2306.03072

The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks

Autori: Nacson, Mor Shpigel; Mulayoff, Rotem; Ongie, Greg; Michaeli, Tomer; Soudry, Daniel
Pubblicato in: ICLR, 2023
Editore: ICLR

Continual Learning in Linear Classification on Separable Data

Autori: Evron, Itay; Moroshko, Edward; Buzaglo, Gon; Khriesh, Maroun; Marjieh, Badea; Srebro, Nathan; Soudry, Daniel
Pubblicato in: ICML, 2023
Editore: ICML
DOI: 10.48550/arxiv.2306.03534

Towards Cheaper Inference in Deep Networks with Lower Bit-Width Accumulators

Autori: Blumenfeld, Yaniv; Hubara, Itay; Soudry, Daniel
Pubblicato in: ICLR, 2024
Editore: ICLR

Gradient Descent Monotonically Decreases the Sharpness of Gradient Flow Solutions in Scalar Networks and Beyond

Autori: Kreisler, Itai; Nacson, Mor Shpigel; Soudry, Daniel; Carmon, Yair
Pubblicato in: ICML, 2023
Editore: ICML
DOI: 10.48550/arxiv.2305.13064

Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats

Autori: B. Chmiel, R. Banner, E. Hoffer, H. Ben Yaacov, D. Soudry
Pubblicato in: ICLR, 2023
Editore: ICLR

The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model

Autori: Goldfarb, Daniel; Evron, Itay; Weinberger, Nir; Soudry, Daniel; Hand, Paul
Pubblicato in: ICLR, 2024
Editore: ICLR
DOI: 10.48550/arxiv.2401.12617

Minimum Variance Unbiased N:M Sparsity for the Neural Gradients

Autori: B. Chmiel, I. Hubara, R. Banner, D. Soudry
Pubblicato in: ICLR, 2023
Editore: ICLR

Alias-Free Convnets: Fractional Shift Invariance via Polynomial Activations

Autori: Michaeli, Hagay; Michaeli, Tomer; Soudry, Daniel
Pubblicato in: CVPR, 2023
Editore: CVPR
DOI: 10.48550/arxiv.2303.08085

How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers

Autori: G. Buzaglo*, I. Harel*, M. Shpigel Nacson*, A. Brutzkus, N. Srebro, D. Soudry
Pubblicato in: ICML, 2024
Editore: ICML