Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Resolving the Paradoxes of Cross-lingual Transfer in Multilingual Language Models

Description du projet

Un nouvel élan pour l’équité linguistique dans le monde

La puissance révolutionnaire des grands modèles de langage (LLM pour «large language models») profite aux communautés dont les langues sont bien représentées dans les données d’apprentissage, principalement l’anglais. Pourtant, ces quelques langues ne parviennent pas à desservir de larges segments de la population mondiale qui parle collectivement plus de 7 000 langues. Pour que les systèmes intelligents soient vraiment utiles, ils doivent fonctionner efficacement dans les langues préférées et les environnements de connaissances locales de leurs utilisateurs. Cette expansion nécessite de repenser le transfert interlinguistique, d’autant plus que les connaissances régionales et culturelles diffèrent considérablement d’une langue à l’autre. Le projet RESPECT-LM, financé par le CER, vise à résoudre ce problème en développant de nouveaux algorithmes d’inférence qui localisent, augmentent et adaptent dynamiquement les connaissances des LLM multilingues pour n’importe quelle requête, garantissant ainsi que les LLM peuvent être contextualisés et adaptés aux besoins de toutes les communautés linguistiques.

Objectif

The technical advances, and resulting societal opportunities, of Large Language Models (LLMs) have principally benefited communities whose primary languages are well-represented in the written data used for training LLMs (e.g. English). While these few high-resource languages are used by many around the world, they do not cover large segments of the global population of 8.2 billion, who collectively speak over 7000 languages. For intelligent natural language systems to be adopted and useful, they must enable interaction in the preferred languages of their users and be knowledgeable of the environments of those users. This expansion of LLM functionality requires re-thinking the cross-lingual transfer paradigm for enabling systems in low-resource languages. In an era where LLMs are knowledge bases, naive reasoners, and interactive agents, our intuitions that held for cross-lingual transfer to linguistic tasks will not extend to transferring regional and cultural knowledge understanding, which may differ even among similar languages.

In this proposal, we reformulate cross-lingual transfer using inference-time algorithms that dynamically localize, augment, and adapt implicit language and knowledge representations of multilingual LLMs for queries presented in any language. These new algorithms will leverage shared linguistic knowledge for cross-lingual transfer to new languages while disentangling regional and cultural knowledge that is tied to language but unique to individual language environments. Second, we will develop novel modular architectures to catalyze our adaptation algorithms by disentangling language and knowledge representations within multilingual LLMs during pretraining. Finally, we will develop new benchmarks, settings, and standards for reliable evaluation of regional knowledge in multilingual contexts.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2025-STG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE
Contribution nette de l'UE
€ 1 499 597,00
Adresse
BATIMENT CE 3316 STATION 1
1015 Lausanne
Suisse
Région
Schweiz/Suisse/Svizzera Région lémanique Vaud
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 1 499 597,00

Bénéficiaires (1)