Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Assessing Training Data Filtering Strategies for the Reduction of Harms in AI

Description du projet

Évaluer le filtrage des données d’entraînement pour réduire les hallucinations de l’IA

Les traducteurs s’appuient de plus en plus sur de grands modèles de langage (LLM) formés sur de vastes ensembles de données, ce qui implique que la présence de contenus préjudiciables ou biaisés dans ces données peut se refléter dans leurs traductions. Or, l’efficacité des méthodes de filtrage actuelles n’est pas suffisamment étudiée. Avec le soutien du programme Actions Marie Skłodowska-Curie, le projet DISHARM va établir un cadre d’évaluation des stratégies de filtrage des données qui réduisent les contenus préjudiciables dans les jeux de données d’entraînement. Il proposera un tableau de classement ouvert qui compare l’efficacité de ces stratégies dans la lutte contre la discrimination à l’encontre des identités vulnérables. S'appuyant sur le traitement du langage naturel et les technologies du web sémantique, le projet identifiera les identités les plus touchées et les préjudices spécifiques auxquels elles sont confrontées. Il contribuera également à satisfaire aux obligations légales prévues par la loi européenne sur l’IA.

Objectif

Large Language Models (LLMs) learn everything they know of the World from what they find in training datasets: if datasets include harmful content, it is more likely that they learn how to produce discriminating outputs. Therefore, reducing the presence of harmful contents in the input training dataset is a crucial step to develop safer and fairer technologies. However, the effectiveness of existing data filtering strategies for harm reduction is still an understudied topic in NLP research.
DISHARM's main research objective is to develop the first framework for the systematic evaluation of data filtering strategies with the goal of reducing harmful contents in training datasets. The project foresees the implementation of the first open leaderboard of data filtering strategies, which will enable a comparison of their effects in mitigating or exacerbating harms against different vulnerable identities. The leaderboard is implemented through a system that combines NLP and Semantic Web technologies for revealing which identities are the most discriminated against inside textual datasets and in particular, which are the types of harms that these vulnerable categories are subjected to. In recognizing the social implications of its research objectives, DISHARM will be co-designed through a community-centered approach: the effects of data filtering strategies on vulnerable identities will be evaluated in collaboration with Hate Trackers and Facing Facts, two networks of activists against discrimination who operate in 18 EU countries. DISHARM aligns closely with the objectives of the EU on the regulation of Artificial Intelligence, aiming to provide a new standard for the evaluation of data filtering strategies for LLM training data. This is expected to have a significant impact in the field of NLP studies on bias and fairness and in the actual implementation of legal obligations provided by the EU AI Act on the detection and mitigation of biases in datasets.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) HORIZON-MSCA-2025-PF

Voir tous les projets financés au titre de cet appel

Coordinateur

IT-UNIVERSITETET I KOBENHAVN
Contribution nette de l'UE
€ 263 393,28
Adresse
RUED LANGGAARDSVEJ 7
2300 KOBENHAVN
Danemark
Région
Danmark Hovedstaden Byen København
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
Aucune donnée