Opis projektu
Poznanie tajemnic ludzkiego mózgu dzięki badaniu mechanizmów uczenia się
Niezwykłe możliwości uczenia się ludzkiego mózgu wciąż przewyższają najlepsze algorytmy uczenia maszynowego, jednocześnie niektóre aspekty skomplikowanych operacji uczenia się realizowanych przez wiele połączonych ze sobą obwodów neuronowych mózgu pozostają niewyjaśnione. Zespół finansowanego ze środków Europejskiej Rady ds. Badań Naukowych projektu DopamineLearnLoops zamierza zmodernizować standardowy model, w którym pojedynczy błąd w układzie dopaminowym powoduje aktualizację całej sieci. Nowa teoria wykorzystuje wiele dynamicznych systemów uczenia się opartych na dopaminie, działających w równoległych pętlach obwodów. Korzystając z najnowocześniejszych technik, badacze opiszą mechanizmy leżące u podstaw działania obwodu, sposób jego działania w dynamicznym środowisku, a także algorytmy, których używa. Poznanie sposobu, w jaki mózg radzi sobie ze złożonymi problemami, bez wątpienia przyczyni się do opracowania nowych algorytmów uczenia głębokiego ze wzmocnieniem.
Cel
The brain’s ability to learn is arguably its most exceptional capacity. Learning in biological brains far surpasses machine learning and requires much less training. How does the brain accomplish this? Why is biological learning still better than the most advanced machine learning algorithms to date? According to the standard model of reward-based learning in the brain, a single error signal is broadcast from the dopamine system and used to update the entire network, implementing a simple form of reinforcement learning. However, the standard model fails to predict several recent experimental findings, leaving open the question of how learning is implemented in the brain. In this project, I propose a new theory of how the brain learns: learning is implemented by multiple dopamine-based learning systems working in parallel circuit loops. These loops relay partial error signals to specific processing areas and permit independent evaluation of the value of different features in the external environment as well as the internal state, enabling learning of complex tasks with multiple relevant features. The loops are engaged dynamically according to the demands of the task, enabling the system to be flexible for learning a wide variety of behaviours of varying complexity. The presence of multiple dynamic parallel learning loops might enable the ability to generalize learning, which is currently the hallmark of biological intelligence. We will use state-of-the art techniques under the framework of our theory to elucidate basic mechanisms underlying the functional circuitry of the learning system (Aim 1), how it operates under different behavioural dynamics (Aim 2), and what algorithm it implements (Aim 3). Success of this project will enable a novel understanding of how the brain learns complex tasks as well as pave the way for the development of new brain-inspired deep reinforcement-learning algorithms.
Dziedzina nauki
Program(-y)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Temat(-y)
System finansowania
HORIZON-ERC - HORIZON ERC GrantsInstytucja przyjmująca
32000 Haifa
Izrael