High Performance Language Technologies

Información del proyecto

HPLT

Identificador del acuerdo de subvención: 101070350

DOI

10.3030/101070350

Fecha de la firma de la CE 13 Junio 2022

Fecha de inicio 1 Septiembre 2022

Fecha de finalización 31 Diciembre 2025

Financiado con arreglo a

• Digital, Industry and Space

Coste total

€ 4 058 287,50

Aportación de la UE

€ 3 880 687,50

Coordinado por

UNIVERZITA KARLOVA
Czechia

CORDIS proporciona enlaces a los documentos públicos y las publicaciones de los proyectos de los programas marco HORIZONTE.

Los enlaces a los documentos y las publicaciones de los proyectos del Séptimo Programa Marco, así como los enlaces a algunos tipos de resultados específicos, como conjuntos de datos y «software», se obtienen dinámicamente de OpenAIRE .

Resultado final

Data sets, microdata, etc (1)

Initial release of monolingual and parallel data sets

This deliverable consists of initial set of textual data acquired from web and non-web sources, both in monolingual and parallel parts, after cleaning done in WP2.

Other (3)

Software for cleaning data sets

Free and open-source software will be released on GitHub.

First language models trained

Language models will be made available for download however it may not have all or the cleanest data.

Translation models for select language pairs

Models available for download trained using the pipeline.

Publicaciones

Conference proceedings (4)

FinGPT: Large Generative Models for a Small Language

Autores: Luukkonen, Risto; Komulainen, Ville; Luoma, Jouni; Eskelinen, Anni; Kanerva, Jenna; Kupari, Hanna-Mari; Ginter, Filip; Laippala, Veronika; Muennighoff, Niklas; Piktus, Aleksandra; Wang, Thomas; Tazi, Nouamane; Scao, Teven Le; Wolf, Thomas; Suominen, Osma; Sairanen, Samuli; Merioksa, Mikko; Heinonen, Jyrki; Vahtola, Aija; Antao, Samuel; Pyysalo, Sampo
Publicado en: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, ISBN 979-8-89176-060-8
Editor: Association for Computational Linguistics
DOI: 10.48550/arxiv.2311.05640

Towards Interpretable Mental Health Analysis with Large Language Models

Autores: Yang, Kailai; Ji, Shaoxiong; Zhang, Tianlin; Xie, Qianqian; Kuang, Ziyan; Ananiadou, Sophia
Publicado en: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, ISBN 979-8-89176-060-8
Editor: Association for Computational Linguistics
DOI: 10.48550/arxiv.2304.03347

Monolingual or Multilingual Instruction Tuning: Which Makes a Better Alpaca

Autores: Chen, Pinzhen; Ji, Shaoxiong; Bogoychev, Nikolay; Kutuzov, Andrey; Haddow, Barry; Heafield, Kenneth
Publicado en: EACL, 2023, ISBN 979-8-89176-088-2
Editor: Association for Computational Linguistics
DOI: 10.48550/arxiv.2309.08958

Scaling Data-Constrained Language Models

Autores: Muennighoff, Niklas; Rush, Alexander M.; Barak, Boaz; Scao, Teven Le; Piktus, Aleksandra; Tazi, Nouamane; Pyysalo, Sampo; Wolf, Thomas; Raffel, Colin
Publicado en: 2023, ISSN 2331-8422
Editor: NeurIPS'23
DOI: 10.48550/arxiv.2305.16264