GenEval: Linking Generation and Evaluation for Reliable NLG Assessment

Descripción del proyecto

Evaluaciones más fiables y transparentes de los grandes modelos de lenguaje

Los grandes modelos de lenguaje se emplean cada vez más para evaluar textos generados por inteligencia artificial. Sin embargo, los resultados de las evaluaciones suelen ser inconsistentes y los mecanismos que las determinan aún no se conocen bien, lo que plantea dudas sobre su fiabilidad. En el proyecto GenEval, que cuenta con el respaldo de las acciones Marie Skłodowska-Curie, se estudiarán los fundamentos que explican estas características mediante el análisis mecanicista de las representaciones y los circuitos de los modelos. A partir de los conocimientos obtenidos, se desarrollarán métricas de evaluación basadas en señales internas de los modelos, con el fin de mejorar su interpretabilidad y precisión. También se crearán herramientas predictivas para determinar cuándo puede confiarse en un modelo como evaluador, incluso cuando no se disponga de datos humanos de referencia. El objetivo es aumentar la transparencia de los sistemas de evaluación de la inteligencia artificial y mejorar los métodos utilizados para evaluar los modelos de lenguaje.

Objetivo

"Large Language Models (LLMs) are increasingly leveraged as evaluators of machine-generated text, a paradigm known as ""LLMs-as-judges."" While this approach offers flexibility and typically strong performance, its reliability remains inconsistent and poorly understood. Strong generative performance does not guarantee reliable evaluation, and the mechanisms linking these two capabilities remain opaque. Without systematic validation, current evaluation practices risk being blind to misleading and factually incorrect content and misrepresenting system capabilities.

GenEval addresses this challenge by investigating the fundamental relationship between generation and evaluation in LLMs, developing novel representation-based metrics, and predicting LLMs' evaluation reliability across tasks and models. We will analyze LLMs at a mechanistic level, identifying circuits and representations that underlie generative and evaluative behaviors. This understanding will enable the design of new evaluation metrics that directly exploit LLMs' internal representations, providing interpretable, efficient, and robust alternatives to existing approaches. Finally, GenEval will develop predictive tools to estimate when an LLM is likely to be a reliable evaluator even in the absence of human judgment data, supporting informed model selection and human-in-the-loop evaluation.

By integrating mechanistic insights with practical evaluation methods, GenEval will deliver both theoretical advances and applied tools.
This action will be possible thanks to the integration of the scientific expertise of Prof. Horacio Saggion, an internationally recognized expert in Natural Language Generation, and that of the researcher, who has a strong background in evaluation, Natural Language Processing, and Machine Learning. The action will develop impacting technology, and provide the researcher with the necessary training to become independent and strengthen her academic profile."