Improving in-context generalization in reinforcement learning through asymmetric model-based methods using adequate representation and exploration techniques

Información del proyecto

GenRL

Identificador del acuerdo de subvención: 101284668

DOI

10.3030/101284668

Fecha de la firma de la CE 23 Febrero 2026

Fecha de inicio 1 Abril 2026

Fecha de finalización 30 Junio 2028

Financiado con arreglo a

• Marie Skłodowska-Curie Actions (MSCA)

Coste total

Sin datos

Aportación de la UE

€ 238 388,40

Coordinado por

UNIVERSITE DE LIEGE
Belgium

Descripción del proyecto

Mejorar la capacidad de generalización del aprendizaje por refuerzo

El aprendizaje por refuerzo (AR o RL, por sus siglas en inglés) es una técnica prometedora para resolver problemas de toma de decisiones. Una de sus principales ventajas es que requiere pocas hipótesis de partida sobre los problemas a resolver, lo que permite a los algoritmos aprender comportamientos próximos al óptimo incluso en entornos desconocidos. Sin embargo, pese a los avances logrados por los algoritmos de AR en aplicaciones reales, su entrenamiento suele requerir procesos complejos y muy específicos. Asimismo, su capacidad de adaptación sigue siendo limitada frente a la notable generalización de los modelos generativos de gran tamaño actuales. En el proyecto GenRL, financiado por las acciones Marie Skłodowska-Curie, se emplearán diferentes métodos para mejorar la generalización y la eficiencia de los algoritmos de AR. En concreto, se mejorará la fiabilidad del AR en aplicaciones reales mediante la incorporación de avances en aprendizaje de representaciones, aprendizaje asimétrico y aprendizaje por refuerzo basado en modelos.

Objetivo

Reinforcement learning (RL) is an appealing framework for solving decision-making problems, notably because it makes few assumptions about the problem at hand. In its purest form, the promise of an RL algorithm is to learn an optimal behavior from interaction with an unknown environment. There has been a plethora of empirical successes in real-world applications ranging from games to robotics. However, most of these achievements have required a dedicated training, and the learned behaviors have demonstrated limited generalization abilities. Compared to the generalization capabilities recently obtained in generative modeling with large pretrained models, notably in language generation, it appears clearly that RL has much room for improvement when it comes to generalization. We define generalization as the ability to maintain performance by adapting to environment changes (perception, dynamics, or rewards) based on the observable context only. Interestingly, in-context generalization is known to be equivalent to the problem of optimally controlling a partially observable environment. Coincidentally, the RL field has been bursting with discoveries over the last few years, with notable progresses in several domains that are closely related to generalization and partial observability: representation learning, model-based RL, asymmetric RL, and exploration. These advances inspire enthusiasm about the future of RL, and in particular about the idea of developing RL algorithms able to learn behaviors that generalize well. It motivates this research project that will improve generalization by (i) developing new world model architectures for model-based RL with effective imagination, (ii) developing asymmetric representation learning objectives for better convergence and sample-efficiency, (iii) designing suitable exploration strategies relying on the aforementioned representations, and (iv) benchmarking generalization on a real-world application, tertiary voltage control.

Ámbito científico (EuroSciVoc)

• ciencias naturales › informática y ciencias de la información › inteligencia artificial › aprendizaje automático › aprendizaje por refuerzo
• ingeniería y tecnología › ingeniería eléctrica, ingeniería electrónica, ingeniería de la información › ingeniería electrónica › robótica

Palabras clave

• Reinforcement Learning
• In-Context Generalization
• Partially Observable Markov Decision Process
• Asymmetric Learning
• World Models
• Zero-Short Learning
• Representation Learning
• Model-Based
• RL
• POMDP

Programa(s)

• HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA) PROGRAMA PRINCIPAL
  

Tema(s)

• HORIZON-MSCA-2025-PF-01-01 - MSCA Postdoctoral Fellowships 2025
  

Régimen de financiación

HORIZON-TMA-MSCA-PF-GF - HORIZON TMA MSCA Postdoctoral Fellowships - Global Fellowships

Convocatoria de propuestas

HORIZON-MSCA-2025-PF

Coordinador

UNIVERSITE DE LIEGE

• Aportación neta de la UEn: € 238 388,40
• Dirección: PLACE DU 20 AOUT 7 ; 4000 LIEGE ; Bélgica
• Región: Région wallonne › Prov. Liège › Arr. Liège
• Tipo de actividad: Higher or Secondary Education Establishments
• Coste total: Sin datos

Socios (1)

Socio

ROYAL INSTITUTION FOR THE ADVANCEMENT OF LEARNING MCGILL UNIVERSITY

Canadá

• Aportación neta de la UEn: € 0,00
• Dirección: 845 SHERBROOKE STREET WEST ; H3A0G4 Montreal
• Tipo de actividad: Higher or Secondary Education Establishments
• Coste total: Sin datos