High Performance Language Technologies

Informacje na temat projektu

HPLT

Identyfikator umowy o grant: 101070350

DOI

10.3030/101070350

Data podpisania przez KE 13 Czerwca 2022

Data rozpoczęcia 1 Września 2022

Data zakończenia 31 Grudnia 2025

Finansowanie w ramach

• Digital, Industry and Space

Koszt całkowity

€ 4 058 287,50

Wkład UE

€ 3 880 687,50

Koordynowany przez

UNIVERZITA KARLOVA
Czechia

CORDIS oferuje możliwość skorzystania z odnośników do publicznie dostępnych publikacji i rezultatów projektów realizowanych w ramach programów ramowych HORYZONT.

Odnośniki do rezultatów i publikacji związanych z poszczególnymi projektami 7PR, a także odnośniki do niektórych konkretnych kategorii wyników, takich jak zbiory danych i oprogramowanie, są dynamicznie pobierane z systemu OpenAIRE .

Rezultaty

Data sets, microdata, etc (1)

Initial release of monolingual and parallel data sets

This deliverable consists of initial set of textual data acquired from web and non-web sources, both in monolingual and parallel parts, after cleaning done in WP2.

Other (3)

Software for cleaning data sets

Free and open-source software will be released on GitHub.

First language models trained

Language models will be made available for download however it may not have all or the cleanest data.

Translation models for select language pairs

Models available for download trained using the pipeline.

Publikacje

Conference proceedings (4)

FinGPT: Large Generative Models for a Small Language

Autorzy: Luukkonen, Risto; Komulainen, Ville; Luoma, Jouni; Eskelinen, Anni; Kanerva, Jenna; Kupari, Hanna-Mari; Ginter, Filip; Laippala, Veronika; Muennighoff, Niklas; Piktus, Aleksandra; Wang, Thomas; Tazi, Nouamane; Scao, Teven Le; Wolf, Thomas; Suominen, Osma; Sairanen, Samuli; Merioksa, Mikko; Heinonen, Jyrki; Vahtola, Aija; Antao, Samuel; Pyysalo, Sampo
Opublikowane w: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, ISBN 979-8-89176-060-8
Wydawca: Association for Computational Linguistics
DOI: 10.48550/arxiv.2311.05640

Towards Interpretable Mental Health Analysis with Large Language Models

Autorzy: Yang, Kailai; Ji, Shaoxiong; Zhang, Tianlin; Xie, Qianqian; Kuang, Ziyan; Ananiadou, Sophia
Opublikowane w: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, ISBN 979-8-89176-060-8
Wydawca: Association for Computational Linguistics
DOI: 10.48550/arxiv.2304.03347

Monolingual or Multilingual Instruction Tuning: Which Makes a Better Alpaca

Autorzy: Chen, Pinzhen; Ji, Shaoxiong; Bogoychev, Nikolay; Kutuzov, Andrey; Haddow, Barry; Heafield, Kenneth
Opublikowane w: EACL, 2023, ISBN 979-8-89176-088-2
Wydawca: Association for Computational Linguistics
DOI: 10.48550/arxiv.2309.08958

Scaling Data-Constrained Language Models

Autorzy: Muennighoff, Niklas; Rush, Alexander M.; Barak, Boaz; Scao, Teven Le; Piktus, Aleksandra; Tazi, Nouamane; Pyysalo, Sampo; Wolf, Thomas; Raffel, Colin
Opublikowane w: 2023, ISSN 2331-8422
Wydawca: NeurIPS'23
DOI: 10.48550/arxiv.2305.16264