Description du projet
Outils mathématiques avancés pour l’analyse de l’apprentissage dans le cerveau
Les réseaux neuronaux artificiels (RNA) alimentés par l’IA, sont largement utilisés, mais les réseaux neuronaux biologiques (RNB) présents dans le cerveau sont intrinsèquement plus efficaces. Alors que les RNA représentent des fonctions, les RNB représentent des processus stochastiques. Le cerveau a démontré des capacités d’apprentissage plus rapides et des capacités de généralisation supérieures. Toutefois, des travaux théoriques supplémentaires sont nécessaires pour comprendre pleinement les mécanismes d’apprentissage dans le cerveau. Dans ce contexte, le projet A2B financé par le CER développera des outils mathématiques avancés pour analyser les processus d’apprentissage dans les RNB. Les objectifs du projet sont notamment de mieux comprendre comment le cerveau apprend, d’améliorer l’efficacité de l’IA avec des données d’entraînement réduites et d’entraîner des puces informatiques neuromorphiques pour émuler les RNB. Le projet commence par réinterpréter le processus de mise à jour locale des paramètres de RNB comme une méthode d’optimisation sans dérivée spécifique et non standard.
Objectif
Why does the brain outperform AI? Artificial neural networks (ANNs) are at the core of the AI revolution. In the past years, enormous efforts have been made to unravel their mathematical properties, leading to fundamental insights and mathematical guarantees on when and why deep learning works well. ANNs are inspired by biological neural networks (BNNs) but differ in many respects: ANNs represent functions while BNNs represent stochastic processes, and the gradient-based deep learning applied for ANNs is very different from the local updating of BNNs.
BNNs are superior to ANNs in the sense that the brain learns faster and generalizes better. Despite the urgency for answers and the rich and interesting mathematical structures that BNNs create, scarcely any theoretical attempts have been made to understand learning in the brain. The stochastic process structure of BNNs and the need to understand the statistical convergence behavior call for a mathematical statistics approach. This project proposes the development of advanced mathematical tools in nonparametric and high- dimensional statistics to analyze learning in BNNs as a statistical method. The starting point is a novel interpretation of the local updating of BNN parameters as a specific and non-standard, derivative-free optimization method. Whereas derivative-free optimization is thought to be slow, our conjecture is that it leads to favorable statistical properties in the setting underlying BNNs.
If the research is successful, it has the potential to open a new research area in mathematical statistics and provide insights into how the brain learns. It could also lead to recommendations on how to make AI more efficient with less training data and how to train neuromorphic computer chips mimicking BNNs.
Champ scientifique
Mots‑clés
Programme(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Régime de financement
HORIZON-ERC - HORIZON ERC GrantsInstitution d’accueil
7522 NB Enschede
Pays-Bas