Description du projet
Améliorer l’apprentissage par renforcement fondé sur la théorie
L’apprentissage par renforcement (AR) est un sous-domaine de l’apprentissage automatique qui s’intéresse à la façon dont les agents intelligents interagissent avec des environnements inconnus pour maximiser leurs récompenses. L’application potentielle des techniques d’apprentissage par renforcement à des problèmes complexes du monde réel, tels que le contrôle des véhicules autonomes ou les réseaux d’énergie intelligents, a attiré une considérable attention sur ce domaine. Cependant, les algorithmes d’AR les plus avancés ne sont pas applicables dans les domaines les plus prometteurs, en grande partie à cause du manque de garanties formelles de performance. Le projet SCALER, financé par l’UE, entend relever ce défi en adoptant une approche fondée sur des principes pour développer une nouvelle génération d’algorithmes d’apprentissage par renforcement dont l’efficacité et l’évolutivité sont prouvées. La méthodologie sera basée sur l’identification de nouvelles propriétés structurelles des processus de décision de Markov à grande échelle qui permettent un apprentissage efficace sur le plan informatique et statistique.
Objectif
Reinforcement learning (RL) is an intensely studied subfield of machine learning concerned with sequential decision-making problems where a learning agent interacts with an unknown reactive environment while attempting to maximize its rewards. In recent years, RL methods have gained significant popularity due to being the key technique behind some spectacular breakthroughs of artificial intelligence (AI) research, which renewed interest in applying such techniques to challenging real-world problems like control of autonomous vehicles or smart energy grids. While the RL framework is clearly suitable to address such problems, the applicability of the current generation of RL algorithms is limited by a lack of formal performance guarantees and a very low sample efficiency. This project proposes to address this problem and advance the state of the art in RL by developing a new generation of provably efficient and scalable algorithms. Our approach is based on identifying various structural assumptions for Markov decision processes (MDPs, the main modeling tool used in RL) that enable computationally and statistically efficient learning. Specifically, we will focus on MDP structures induced by various approximation schemes including value-function approximation and relaxations of the linear-program formulation of optimal control in MDPs. Based on this view, we aim to develop a variety of new tools for designing and analyzing RL algorithms, and achieve a deep understanding of fundamental performance limits in structured MDPs. While our main focus will be on rigorous theoretical analysis of algorithms, most of our objectives are inspired by practical concerns, particularly by the question of scalability. As a result, we expect that our proposed research will have significant impact on both the theory and practice of reinforcement learning, bringing RL methods significantly closer to practical applicability.
Mots‑clés
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
-
H2020-EU.1.1. - EXCELLENT SCIENCE - European Research Council (ERC)
PROGRAMME PRINCIPAL
Voir tous les projets financés dans le cadre de ce programme
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
ERC-STG - Starting Grant
Voir tous les projets financés dans le cadre de ce programme de financement
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
(s’ouvre dans une nouvelle fenêtre) ERC-2020-STG
Voir tous les projets financés au titre de cet appelInstitution d’accueil
La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.
08002 Barcelona
Espagne
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.