Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Adaptive Tokenization and Memory in Foundation Models for Efficient and Long-Horizon AI

Opis projektu

Modele sztucznej inteligencji pracujące mądrzej, a nie ciężej

Wraz ze wzrostem rozmiarów modeli sztucznej inteligencji ich wydajność spada, rosną za to problemy związane z wpływem na środowisko i zapotrzebowaniem na energię. Obecne modele przetwarzają i zapamiętują informacje jako sekwencję przedstawień o ustalonych rozmiarach. Zespół finansowanego ze środków Europejskiej Rady ds. Badań Naukowych projektu AToM-FM zamierza opracować wydajne modele sztucznej inteligencji, dostosowując długość każdej sekwencji w locie, bez konieczności odrzucania informacji. Rozwiązując główne problemy istniejących architektur modeli, modele AToM będą szybsze i lżejsze, co przełoży się na oszczędność energii i ograniczenie wpływu na środowisko. Technologia opracowana przez zespół AToM-FM umożliwi realizację trwałej pamięci, umożliwiając modelom sztucznej inteligencji ciągłe uczenie się i zwiększając ich możliwości rozumowania. Dzięki temu modele sztucznej inteligencji będą mogły badać bardziej złożone hipotezy w takim samym czasie. Projekt zapoczątkuje erę inteligentniejszej i bardziej ekologicznej technologii sztucznej inteligencji.

Cel

"The recent revolution in generative AI is powered by the ever-growing scale of Foundation Models (FMs). This, however, causes a series of harmful ramifications, such as their unsustainable energy demand and environmental pollution, which accelerate climate change. Moreover, the scale of FMs jeopardises data privacy, as it compels users to deploy them on third-party servers rather than edge devices. AToM-FM sets out to reverse this trend by remedying a fundamental source of inefficiency in FMs: the granularity of the ""atomic"" units for representing information in current FMs is fixed, as it entirely depends on how they update their memory and segment input data (a process known as tokenization). Instead, AToM-FMs will couple their granularity with the complexity of each task, allocating only as much computing effort as needed. As its key technical breakthrough, AToM-FM will make memory and tokenization adaptive, elevating FMs to unprecedented levels of efficiency. To facilitate the swift adoption of this new technology, I will repurpose state-of-the-art FMs into adaptive architectures and release them to the public. This will not only drastically cut the carbon footprint of FM deployment and uphold data privacy, but also foster the emergence of new FM capabilities. In fact, compressing the FM representations will effectively broaden their horizon, i.e. the amount of input and output they can perceive and generate, respectively, without exhausting their memory. This will unlock 1) permanent memories, which are a prerequisite for lifelong learning; 2) longer reasoning chains, perfecting the mathematical and planning skills of FMs; 3) modality-agnostic and fine-grained inputs, facilitating the integration of low-resource modalities and grounding agentive FMs onto physical spaces. Overall, AToM-FM's ambitious agenda will usher in the next generation of FMs, paving the way for efficient and long-horizon AI."

Dziedzina nauki (EuroSciVoc)

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-ERC - HORIZON ERC Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) ERC-2025-STG

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

IMPERIAL COLLEGE OF SCIENCE TECHNOLOGY AND MEDICINE
Wkład UE netto
€ 1 418 809,59
Adres
SOUTH KENSINGTON CAMPUS EXHIBITION ROAD
SW7 2AZ London
Zjednoczone Królestwo
Region
London Inner London — West Westminster
Rodzaj działalności
Higher or Secondary Education Establishments
Linki
Koszt całkowity
€ 1 418 809,59

Beneficjenci (2)