Projektbeschreibung
Theoretisch fundiertes verstärkendes Lernen hochskalieren
Lernen durch Verstärkung ist ein Teilgebiet des maschinellen Lernens, bei dem es darum geht, wie intelligente Agenten mit unbekannten Umgebungen interagieren, um ihre Belohnungen zu maximieren. Die potenzielle Anwendung von Verfahren des Lernens durch Verstärkung auf schwierige reale Probleme, zum Beispiel bei der autonomen Fahrzeugsteuerung oder bei intelligenten Energienetzen, hat dem Gebiet große Aufmerksamkeit verschafft. Allerdings sind die dem Stand der Technik entsprechenden Algorithmen des Lernens durch Verstärkung in den vielversprechendsten Bereichen nicht anwendbar, was vor allem auf fehlende formale Leistungsgarantien zurückzuführen ist. Das EU-finanzierte Projekt SCALER verfolgt das Ziel, diese Herausforderung über einen prinzipiellen Ansatz für die Entwicklung einer neuen Generation von nachweislich effizienten und skalierbaren Algorithmen für Lernen durch Verstärkung anzugehen. Die Methodik wird auf der Ermittlung neuartiger struktureller Eigenschaften großmaßstäblicher Markov-Entscheidungsprozesse beruhen, die rechnerisch und statistisch effizientes Lernen gestatten.
Ziel
Reinforcement learning (RL) is an intensely studied subfield of machine learning concerned with sequential decision-making problems where a learning agent interacts with an unknown reactive environment while attempting to maximize its rewards. In recent years, RL methods have gained significant popularity due to being the key technique behind some spectacular breakthroughs of artificial intelligence (AI) research, which renewed interest in applying such techniques to challenging real-world problems like control of autonomous vehicles or smart energy grids. While the RL framework is clearly suitable to address such problems, the applicability of the current generation of RL algorithms is limited by a lack of formal performance guarantees and a very low sample efficiency. This project proposes to address this problem and advance the state of the art in RL by developing a new generation of provably efficient and scalable algorithms. Our approach is based on identifying various structural assumptions for Markov decision processes (MDPs, the main modeling tool used in RL) that enable computationally and statistically efficient learning. Specifically, we will focus on MDP structures induced by various approximation schemes including value-function approximation and relaxations of the linear-program formulation of optimal control in MDPs. Based on this view, we aim to develop a variety of new tools for designing and analyzing RL algorithms, and achieve a deep understanding of fundamental performance limits in structured MDPs. While our main focus will be on rigorous theoretical analysis of algorithms, most of our objectives are inspired by practical concerns, particularly by the question of scalability. As a result, we expect that our proposed research will have significant impact on both the theory and practice of reinforcement learning, bringing RL methods significantly closer to practical applicability.
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
H2020-EU.1.1. - EXCELLENT SCIENCE - European Research Council (ERC)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
ERC-STG - Starting Grant
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) ERC-2020-STG
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenGastgebende Einrichtung
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
08002 Barcelona
Spanien
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.