Active Learning with Large Language Models for Cross-lingual Pseudo-labeling in Computational Social Science

Información del proyecto

LACOS

Identificador del acuerdo de subvención: 101212164

DOI

10.3030/101212164

Fecha de la firma de la CE 22 Abril 2025

Fecha de inicio 1 Septiembre 2025

Fecha de finalización 31 Agosto 2027

Financiado con arreglo a

• Marie Skłodowska-Curie Actions (MSCA)

Coste total

Sin datos

Aportación de la UE

€ 214 344,72

Coordinado por

UNIVERSITAT WIEN
Austria

Descripción del proyecto

Herramientas para el pseudoetiquetado multilingüe en ciencias sociales computacionales

Los grandes modelos de lenguaje (LLM) se utilizan ampliamente en el procesamiento del lenguaje natural para pseudoetiquetar variables de datos clave, como los marcadores de emociones para los psicólogos, los estados financieros para los economistas y el lenguaje tóxico para los investigadores de derechos humanos. Con el apoyo de las acciones Marie Skłodowska-Curie, el proyecto LACOS impulsará el uso de los LLM en ciencias sociales computacionales (CSC). El proyecto desarrollará herramientas para pseudoetiquetar eficazmente datos CSC en un contexto multilingüe y creará un conjunto de datos para evaluar la solidez lingüística de los LLM. También identificará las mejores prácticas de pseudoetiquetado multilingüe y explorará técnicas de aprendizaje activo para minimizar los esfuerzos de anotación manual. Los resultados ahorrarán recursos a los investigadores de CSC y harán que las herramientas sean accesibles en todas las lenguas.

Objetivo

Large Language Models (LLMs) have become ubiquitous in the area of Natural Language Processing (NLP). This project aims to advance the applications of LLMs in the multidisciplinary field of Computational Social Science (CSS). Specifically, LLMs are often used to pseud-label (at scale) variables in data that are of interest to social scientists (e.g. a psychologist would look for emotion markers, an economist for statements about money, a human rights researcher for toxic language etc.) I will develop and test novel tooling for applying LLMs to efficiently pseudo-label CSS data in a cross-lingual setting. The project will proceed in three phases. First, a dataset and methodology for evaluating the language robustness of LLMs (isolated from all other confounding factors) will be developed. Second, using this methodology a set of general best practices will be determined for the scenario of applying LLMs to cross-lingual pseudo-labeling for CSS. Finally, both existing and novel active learning approaches will be investigated to minimize the manual annotation effort required to oversee the pseudo-labeling process. Using insights from this project a user-friendly freely publicly available tool for pseudo-labeling using LLMs will be published. The methods will be tested on two example tasks: toxicity detection and disinformation detection. Overall, the project results will make the work of CSS researchers more efficient in terms of both time and financial resources. Moreover, the cross-lingual nature of the tool will make it applicable to languages other than English, including small and low-resourced languages. Consequently, this project will contribute to make tooling accessible to a wide and diverse set of CSS researchers, increasing the outreach and inclusivity of CSS research and fostering international collaboration.

Ámbito científico (EuroSciVoc)

Este proyecto aún no se ha clasificado con EuroSciVoc.
Sugiera los ámbitos científicos que considere más relevantes y ayúdenos a mejorar nuestro servicio de clasificación.

Palabras clave

• natural language processing
• computational social science

Programa(s)

• HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA) PROGRAMA PRINCIPAL
  

Tema(s)

• HORIZON-MSCA-2024-PF-01-01 - MSCA Postdoctoral Fellowships 2024
  

Régimen de financiación

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Convocatoria de propuestas

HORIZON-MSCA-2024-PF-01

Coordinador

UNIVERSITAT WIEN

• Aportación neta de la UEn: € 214 344,72
• Dirección: UNIVERSITATSRING 1 ; 1010 WIEN ; Austria
• Región: Ostösterreich › Wien › Wien
• Tipo de actividad: Higher or Secondary Education Establishments
• Coste total: Sin datos