Resolving the Paradoxes of Cross-lingual Transfer in Multilingual Language Models

Projektbeschreibung

Neuer Vorstoß für globale Sprachengerechtigkeit

Die revolutionäre Kraft großer Sprachmodelle kam Gemeinschaften zugute, deren Sprachen, vor allem Englisch, in den Trainingsdaten gut repräsentiert sind. Diese wenigen Sprachen reichen jedoch nicht aus, um große Teile der Weltbevölkerung zu repräsentieren, die insgesamt über 7 000 Sprachen sprechen. Damit intelligente Systeme wirklich nützlich sind, müssen sie in den bevorzugten Sprachen und lokalen Wissensumgebungen ihrer Nutzerinnen und Nutzer effektiv funktionieren. Diese Erweiterung erfordert ein Umdenken beim sprachübergreifenden Transfer, zumal sich regionales und kulturelles Wissen von Sprache zu Sprache stark unterscheidet. Das Ziel des ERC-finanzierten Projekts RESPECT-LM besteht darin, dieses Problem durch die Entwicklung neuer Inferenzzeitalgorithmen zu lösen, die das Wissen innerhalb mehrsprachiger großer Sprachmodelle für jede Anfrage dynamisch lokalisieren, erweitern und anpassen und somit sicherstellen, dass großer Sprachmodelle kontextualisiert und auf die Bedürfnisse aller Sprachgemeinschaften abgestimmt werden können.

Ziel

The technical advances, and resulting societal opportunities, of Large Language Models (LLMs) have principally benefited communities whose primary languages are well-represented in the written data used for training LLMs (e.g. English). While these few high-resource languages are used by many around the world, they do not cover large segments of the global population of 8.2 billion, who collectively speak over 7000 languages. For intelligent natural language systems to be adopted and useful, they must enable interaction in the preferred languages of their users and be knowledgeable of the environments of those users. This expansion of LLM functionality requires re-thinking the cross-lingual transfer paradigm for enabling systems in low-resource languages. In an era where LLMs are knowledge bases, naive reasoners, and interactive agents, our intuitions that held for cross-lingual transfer to linguistic tasks will not extend to transferring regional and cultural knowledge understanding, which may differ even among similar languages.

In this proposal, we reformulate cross-lingual transfer using inference-time algorithms that dynamically localize, augment, and adapt implicit language and knowledge representations of multilingual LLMs for queries presented in any language. These new algorithms will leverage shared linguistic knowledge for cross-lingual transfer to new languages while disentangling regional and cultural knowledge that is tied to language but unique to individual language environments. Second, we will develop novel modular architectures to catalyze our adaptation algorithms by disentangling language and knowledge representations within multilingual LLMs during pretraining. Finally, we will develop new benchmarks, settings, and standards for reliable evaluation of regional knowledge in multilingual contexts.