Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

AutoLLMSelect: Framework for Robust and Explainable Automated Large Language Model Selection

Opis projektu

Innowacyjne rozwiązanie na potrzeby zautomatyzowanej i zrównoważonej selekcji LLM

Popularyzacja dużych modeli językowych (LLM) zaowocowała istotnymi postępami w dziedzinie badań akademickich, jak i w przemyśle. Rosnąca liczba dostępnych modeli doprowadziła do powstania nowego wyzwania - wybór najbardziej wydajnego modelu dla konkretnego zadania nadzorowanego uczenia maszynowego często wymaga oceny wielu modeli, co przekłada się na wysokie koszty mocy obliczeniowej i zwiększonego negatywnego wpływu na środowisko. Zespół finansowanego ze środków działania „Maria Skłodowska-Curie” projektu AutoLLMSelect ma na celu rozwiązanie tego problemu poprzez stworzenie przełomowego rozwiązania. W ramach projektu powstanie kompleksowa metoda porównawczych analiz zbiorów danych na temat modeli LLM. Ponadto zespół opracuje pierwszą rozwojową platformę zautomatyzowanej selekcji LLM, z naciskiem na zrównoważony rozwój i redukcję kosztów.

Cel

Large Language Models (LLMs) are gradually becoming part of academic and industrial processes due to their inherent capacity to solve a multitude of different problems across different domains. However, an open question remains – from the multitude of LLMs available, how to select the most appropriate LLM to use on a specific supervised machine learning (ML) problem (with or without fine-tuning), without evaluating a large portfolio of LLMs on the labelled dataset related to that ML problem. Evaluating a large LLM portfolio across multiple criteria introduces high computational cost, which then translates into a negative environmental impact, especially in terms of increased carbon emission. This proposal aims to (1) publish a comprehensive LLM benchmark dataset analysis that would facilitate a robust and unbised LLM benchmarking, (2) make the first steps towards a robust, explainable and evolving framework for automated LLM selection based on a multi-disciplinary approach that would reduce the cost for comparing large LLM portfolio on ML datasets, and (3) evaluate the applicability of the framework on a use-case from in field of sustainable development. Due to the high complexity of the problem to be solved, the proposal will present a proof-of-concept on a selected LLM portfolio, dataset portfolio, and performance metrics, based on the available data in public benchmarks. The framework would evolve and could be extended in the future with new LLMs, benchmark datasets, ML tasks, performance metrics, from both our side and the community.

Dziedzina nauki (EuroSciVoc)

Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) HORIZON-MSCA-2024-PF-01

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Koordynator

INSTITUT JOZEF STEFAN
Wkład UE netto
€ 182 717,52
Koszt całkowity
Brak danych

Partnerzy (1)