Descripción del proyecto
Mecanismos de verificación del aprendizaje por refuerzo
El aprendizaje por refuerzo (AR) es un tipo de aprendizaje automático que permite a la inteligencia artificial (IA) aprender mediante ensayo y error. Sin embargo, por lo general carece de mecanismos que garanticen un comportamiento constantemente correcto en relación con tareas sofisticadas y especificaciones de seguridad. La verificación formal (VF) se basa en métodos rigurosos y especificaciones precisas para ofrecer garantías de la corrección de un sistema. Sin embargo, existen retos fundamentales que impiden la aplicación de la VF al AR. El equipo del proyecto DEUCE, financiado con fondos europeos, desarrollará métodos innovadores de verificación basados en datos que se integren estrechamente con el AR. Diseñará esquemas de abstracción basados en el aprendizaje que condensen las partes del sistema relevantes para la corrección y empleen y definan modelos cuya expresividad capture varios tipos de incertidumbre. El equipo de DEUCE proporcionará mecanismos de VF basados en modelos para explorar agentes de AR de forma segura y correcta.
Objetivo
Reinforcement learning (RL) agents learn to behave optimally via trial and error, without the need to encode complicated behavior explicitly. However, RL generally lacks mechanisms to constantly ensure correct behavior regarding sophisticated task and safety specifications.
Formal verification (FV), and in particular model checking, provides formal guarantees on a system's correctness based on rigorous methods and precise specifications. Despite active development by researchers from all over the world, fundamental challenges obstruct the application of FV to RL so far.
We identify three key challenges that frame the objectives of this proposal.
(1) Complex environments with large degrees of freedom induce large state and feature spaces. This curse of dimensionality poses a longstanding problem for verification.
(2) Common approaches for the correctness of RL systems employ idealized discrete state spaces.
However, realistic problems are often continuous.
(3) Knowledge about real-world environments is inherently uncertain.
To ensure safety, correctness guarantees need to be robust against such imprecise knowledge about the environment.
The main objective of the DEUCE project is to develop novel and data-driven verification methods that tightly integrate with RL. To cope with the curse of dimensionality, we devise learning-based abstraction schemes that distill the system parts that are relevant for the correctness. We employ and define models whose expressiveness captures various types of uncertainty. These models are the basis for formal and data-driven abstractions of continuous spaces. We provide model-based FV mechanisms that ensure safe and correct exploration for RL agents.
DEUCE will elevate the scalability and expressiveness of verification towards real-world deployment of reinforcement learning.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2022-STG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
44801 Bochum
Alemania
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.