Projektbeschreibung
Theoretisch fundiertes verstärkendes Lernen hochskalieren
Lernen durch Verstärkung ist ein Teilgebiet des maschinellen Lernens, bei dem es darum geht, wie intelligente Agenten mit unbekannten Umgebungen interagieren, um ihre Belohnungen zu maximieren. Die potenzielle Anwendung von Verfahren des Lernens durch Verstärkung auf schwierige reale Probleme, zum Beispiel bei der autonomen Fahrzeugsteuerung oder bei intelligenten Energienetzen, hat dem Gebiet große Aufmerksamkeit verschafft. Allerdings sind die dem Stand der Technik entsprechenden Algorithmen des Lernens durch Verstärkung in den vielversprechendsten Bereichen nicht anwendbar, was vor allem auf fehlende formale Leistungsgarantien zurückzuführen ist. Das EU-finanzierte Projekt SCALER verfolgt das Ziel, diese Herausforderung über einen prinzipiellen Ansatz für die Entwicklung einer neuen Generation von nachweislich effizienten und skalierbaren Algorithmen für Lernen durch Verstärkung anzugehen. Die Methodik wird auf der Ermittlung neuartiger struktureller Eigenschaften großmaßstäblicher Markov-Entscheidungsprozesse beruhen, die rechnerisch und statistisch effizientes Lernen gestatten.
Ziel
Reinforcement learning (RL) is an intensely studied subfield of machine learning concerned with sequential decision-making problems where a learning agent interacts with an unknown reactive environment while attempting to maximize its rewards. In recent years, RL methods have gained significant popularity due to being the key technique behind some spectacular breakthroughs of artificial intelligence (AI) research, which renewed interest in applying such techniques to challenging real-world problems like control of autonomous vehicles or smart energy grids. While the RL framework is clearly suitable to address such problems, the applicability of the current generation of RL algorithms is limited by a lack of formal performance guarantees and a very low sample efficiency. This project proposes to address this problem and advance the state of the art in RL by developing a new generation of provably efficient and scalable algorithms. Our approach is based on identifying various structural assumptions for Markov decision processes (MDPs, the main modeling tool used in RL) that enable computationally and statistically efficient learning. Specifically, we will focus on MDP structures induced by various approximation schemes including value-function approximation and relaxations of the linear-program formulation of optimal control in MDPs. Based on this view, we aim to develop a variety of new tools for designing and analyzing RL algorithms, and achieve a deep understanding of fundamental performance limits in structured MDPs. While our main focus will be on rigorous theoretical analysis of algorithms, most of our objectives are inspired by practical concerns, particularly by the question of scalability. As a result, we expect that our proposed research will have significant impact on both the theory and practice of reinforcement learning, bringing RL methods significantly closer to practical applicability.
Wissenschaftliches Gebiet
- engineering and technologymechanical engineeringvehicle engineeringautomotive engineeringautonomous vehicles
- engineering and technologyenvironmental engineeringenergy and fuelsrenewable energy
- natural sciencescomputer and information sciencesartificial intelligencemachine learningreinforcement learning
Programm/Programme
Thema/Themen
Finanzierungsplan
ERC-STG - Starting GrantGastgebende Einrichtung
08002 Barcelona
Spanien