Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch Deutsch
CORDIS - Forschungsergebnisse der EU
CORDIS

Resolving the Paradoxes of Cross-lingual Transfer in Multilingual Language Models

Ziel

The technical advances, and resulting societal opportunities, of Large Language Models (LLMs) have principally benefited communities whose primary languages are well-represented in the written data used for training LLMs (e.g. English). While these few high-resource languages are used by many around the world, they do not cover large segments of the global population of 8.2 billion, who collectively speak over 7000 languages. For intelligent natural language systems to be adopted and useful, they must enable interaction in the preferred languages of their users and be knowledgeable of the environments of those users. This expansion of LLM functionality requires re-thinking the cross-lingual transfer paradigm for enabling systems in low-resource languages. In an era where LLMs are knowledge bases, naive reasoners, and interactive agents, our intuitions that held for cross-lingual transfer to linguistic tasks will not extend to transferring regional and cultural knowledge understanding, which may differ even among similar languages.

In this proposal, we reformulate cross-lingual transfer using inference-time algorithms that dynamically localize, augment, and adapt implicit language and knowledge representations of multilingual LLMs for queries presented in any language. These new algorithms will leverage shared linguistic knowledge for cross-lingual transfer to new languages while disentangling regional and cultural knowledge that is tied to language but unique to individual language environments. Second, we will develop novel modular architectures to catalyze our adaptation algorithms by disentangling language and knowledge representations within multilingual LLMs during pretraining. Finally, we will develop new benchmarks, settings, and standards for reliable evaluation of regional knowledge in multilingual contexts.

Schlüsselbegriffe

Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).

Programm/Programme

Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.

Thema/Themen

Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.

Finanzierungsplan

Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.

HORIZON-ERC - HORIZON ERC Grants

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.

(öffnet in neuem Fenster) ERC-2025-STG

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Gastgebende Einrichtung

ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE
Netto-EU-Beitrag

Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.

€ 1 499 597,00
Adresse
BATIMENT CE 3316 STATION 1
1015 LAUSANNE
Schweiz

Auf der Karte ansehen

Region
Schweiz/Suisse/Svizzera Région lémanique Vaud
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten

Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.

€ 1 499 597,00

Begünstigte (1)

Mein Booklet 0 0