Improving in-context generalization in reinforcement learning through asymmetric model-based methods using adequate representation and exploration techniques

Informations projet

GenRL

N° de convention de subvention: 101284668

DOI

10.3030/101284668

Date de signature de la CE 23 Février 2026

Date de début 1 Avril 2026

Date de fin 30 Juin 2028

Financé au titre de

• Marie Skłodowska-Curie Actions (MSCA)

Coût total

Aucune donnée

Contribution de l’UE

€ 238 388,40

Coordonné par

UNIVERSITE DE LIEGE
Belgium

Description du projet

Améliorer les capacités de généralisation de l’apprentissage par renforcement

L’apprentissage par renforcement (AR) est un cadre très prometteur pour résoudre les problèmes de prise de décision, notamment parce qu’il repose sur peu d’hypothèses concernant les problèmes auxquels il est appliqué, ce qui permet à l’algorithme d’apprendre des comportements quasi-optimaux, même dans des environnements inconnus. Cependant, les succès empiriques des algorithmes AR dans le monde réel ont souvent nécessité un apprentissage approfondi et spécifique, et ont fait preuve d’une adaptabilité limitée, contrairement aux capacités de généralisation considérables des grands modèles génératifs modernes. Soutenu par le programme Actions Marie Skłodowska-Curie, le projet GenRL recourra à différentes méthodes pour améliorer la généralisation et l’efficacité. Il s’appuiera notamment sur les avancées majeures réalisées dans les domaines de l’apprentissage de la représentation, de l’apprentissage asymétrique et de l’AR basé sur des modèles, afin d’accroître la fiabilité de l’AR dans les applications concrètes.

Objectif

Reinforcement learning (RL) is an appealing framework for solving decision-making problems, notably because it makes few assumptions about the problem at hand. In its purest form, the promise of an RL algorithm is to learn an optimal behavior from interaction with an unknown environment. There has been a plethora of empirical successes in real-world applications ranging from games to robotics. However, most of these achievements have required a dedicated training, and the learned behaviors have demonstrated limited generalization abilities. Compared to the generalization capabilities recently obtained in generative modeling with large pretrained models, notably in language generation, it appears clearly that RL has much room for improvement when it comes to generalization. We define generalization as the ability to maintain performance by adapting to environment changes (perception, dynamics, or rewards) based on the observable context only. Interestingly, in-context generalization is known to be equivalent to the problem of optimally controlling a partially observable environment. Coincidentally, the RL field has been bursting with discoveries over the last few years, with notable progresses in several domains that are closely related to generalization and partial observability: representation learning, model-based RL, asymmetric RL, and exploration. These advances inspire enthusiasm about the future of RL, and in particular about the idea of developing RL algorithms able to learn behaviors that generalize well. It motivates this research project that will improve generalization by (i) developing new world model architectures for model-based RL with effective imagination, (ii) developing asymmetric representation learning objectives for better convergence and sample-efficiency, (iii) designing suitable exploration strategies relying on the aforementioned representations, and (iv) benchmarking generalization on a real-world application, tertiary voltage control.

Champ scientifique (EuroSciVoc)

• sciences naturelles › informatique et science de l'information › intelligence artificielle › apprentissage automatique › apprentissage par renforcement
• ingénierie et technologie › génie électrique, génie électronique, génie de l’information › ingénierie électronique › robotique

Mots‑clés

• Reinforcement Learning
• In-Context Generalization
• Partially Observable Markov Decision Process
• Asymmetric Learning
• World Models
• Zero-Short Learning
• Representation Learning
• Model-Based
• RL
• POMDP

Programme(s)

• HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA) PROGRAMME PRINCIPAL
  

Thème(s)

• HORIZON-MSCA-2025-PF-01-01 - MSCA Postdoctoral Fellowships 2025
  

Régime de financement

HORIZON-TMA-MSCA-PF-GF - HORIZON TMA MSCA Postdoctoral Fellowships - Global Fellowships

Appel à propositions

HORIZON-MSCA-2025-PF

Coordinateur

UNIVERSITE DE LIEGE

• Contribution nette de l'UE: € 238 388,40
• Adresse: PLACE DU 20 AOUT 7 ; 4000 LIEGE ; Belgique
• Région: Région wallonne › Prov. Liège › Arr. Liège
• Type d’activité: Higher or Secondary Education Establishments
• Coût total: Aucune donnée

Partenaires (1)

Partenaire

ROYAL INSTITUTION FOR THE ADVANCEMENT OF LEARNING MCGILL UNIVERSITY

Canada

• Contribution nette de l'UE: € 0,00
• Adresse: 845 SHERBROOKE STREET WEST ; H3A0G4 Montreal
• Type d’activité: Higher or Secondary Education Establishments
• Coût total: Aucune donnée