Description du projet
Faire passer l’apprentissage par renforcement au niveau supérieur
L’apprentissage par renforcement (AR) consiste en la formation de modèles d’apprentissage automatique pour prendre une série de décisions, et présente un fort potentiel pour contribuer à accroitre l’automatisation. Le projet RADDICS, financé par l’UE, vise à relever les principaux défis au déploiement fiable des méthodes d’AR dans des applications à enjeux élevés. Il se penche tout particulièrement sur l’utilisation de modèles probabilistes, tels que les processus gaussiens et les modèles bayésiens profonds, afin de permettre une exploration sûre. Pour ce faire, il combine les estimations de confiance provenant de ces modèles avec des techniques issues de la théorie du contrôle robuste et de la vérification formelle. La recherche tire parti des résultats de récentes découvertes dans le domaine de l’optimisation bayésienne sûre, et elle fait l’objet de démonstrations sur trois applications de systèmes cyber-physiques réels.
Objectif
This ERC project pushes the boundary of reliable data-driven decision making in cyber-physical systems (CPS), by bridging reinforcement learning (RL), nonparametric estimation and robust optimization. RL is a powerful abstraction of decision making under uncertainty and has witnessed dramatic recent breakthroughs. Most of these successes have been in games such as Go - well specified, closed environments that - given enough computing power - can be extensively simulated and explored. In real-world CPS, however, accurate simulations are rarely available, and exploration in these applications is a highly dangerous proposition.
We strive to rethink Reinforcement Learning from the perspective of reliability and robustness required by real-world applications. We build on our recent breakthrough result on safe Bayesian optimization (SAFE-OPT): The approach allows - for the first time - to identify provably near-optimal policies in episodic RL tasks, while guaranteeing under some regularity assumptions that with high probability no unsafe states are visited - even if the set of safe parameter values is a priori unknown.
While extremely promising, this result has several fundamental limitations, which we seek to overcome in this ERC project. To this end we will (1) go beyond low-dimensional Gaussian process models and towards much richer deep Bayesian models; (2) go beyond episodic tasks, by explicitly reasoning about the dynamics and employing ideas from robust control theory and (3) tackle bootstrapping of safe initial policies by bridging simulations and real-world experiments via multi-fidelity Bayesian optimization, and by pursuing safe active imitation learning.
Our research is motivated by three real-world CPS applications, which we pursue in interdisciplinary collaboration: Safe exploration of and with robotic platforms; tuning the energy efficiency of photovoltaic powerplants and safely optimizing the performance of a Free Electron Laser.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN.
- sciences naturellesinformatique et science de l'informationintelligence artificielleapprentissage automatiqueapprentissage par renforcement
- sciences naturellessciences physiquesoptiquephysique des lasers
Vous devez vous identifier ou vous inscrire pour utiliser cette fonction
Mots‑clés
Programme(s)
Régime de financement
ERC-COG - Consolidator GrantInstitution d’accueil
8092 Zuerich
Suisse