Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

Assessing Training Data Filtering Strategies for the Reduction of Harms in AI

Descrizione del progetto

Valutazione del filtraggio dei dati di addestramento per ridurre i danni dell’IA

I traduttori si affidano sempre più spesso a modelli linguistici di grandi dimensioni (LLM, Large Language Model) addestrati su grandi serie di dati, il che significa che la presenza di contenuti dannosi o distorti in questi dati può riflettersi nelle loro traduzioni. Tuttavia, l’efficacia degli attuali metodi di filtraggio finora è stata poco studiata. Con il sostegno del programma di azioni Marie Skłodowska-Curie, il progetto DISHARM creerà un quadro di riferimento per la valutazione delle strategie di filtraggio dei dati che riducono i contenuti dannosi nei dataset di formazione. Introdurrà una classifica aperta per confrontare l’efficacia di queste strategie nell’affrontare la discriminazione delle identità vulnerabili. Usando l’elaborazione del linguaggio naturale e le tecnologie del web semantico, il progetto identificherà le identità più colpite e i danni specifici che devono affrontare. Inoltre, contribuirà a soddisfare gli obblighi legali previsti dalla legge europea sull’IA.

Obiettivo

Large Language Models (LLMs) learn everything they know of the World from what they find in training datasets: if datasets include harmful content, it is more likely that they learn how to produce discriminating outputs. Therefore, reducing the presence of harmful contents in the input training dataset is a crucial step to develop safer and fairer technologies. However, the effectiveness of existing data filtering strategies for harm reduction is still an understudied topic in NLP research.
DISHARM's main research objective is to develop the first framework for the systematic evaluation of data filtering strategies with the goal of reducing harmful contents in training datasets. The project foresees the implementation of the first open leaderboard of data filtering strategies, which will enable a comparison of their effects in mitigating or exacerbating harms against different vulnerable identities. The leaderboard is implemented through a system that combines NLP and Semantic Web technologies for revealing which identities are the most discriminated against inside textual datasets and in particular, which are the types of harms that these vulnerable categories are subjected to. In recognizing the social implications of its research objectives, DISHARM will be co-designed through a community-centered approach: the effects of data filtering strategies on vulnerable identities will be evaluated in collaboration with Hate Trackers and Facing Facts, two networks of activists against discrimination who operate in 18 EU countries. DISHARM aligns closely with the objectives of the EU on the regulation of Artificial Intelligence, aiming to provide a new standard for the evaluation of data filtering strategies for LLM training data. This is expected to have a significant impact in the field of NLP studies on bias and fairness and in the actual implementation of legal obligations provided by the EU AI Act on the detection and mitigation of biases in datasets.

Campo scientifico (EuroSciVoc)

Parole chiave

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) HORIZON-MSCA-2025-PF

Vedi tutti i progetti finanziati nell’ambito del bando

Coordinatore

IT-UNIVERSITETET I KOBENHAVN
Contributo netto dell'UE
€ 263 393,28
Indirizzo
RUED LANGGAARDSVEJ 7
2300 KOBENHAVN
Danimarca
Regione
Danmark Hovedstaden Byen København
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
Nessun dato