Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Adaptive Tokenization and Memory in Foundation Models for Efficient and Long-Horizon AI

Description du projet

Des modèles d’IA qui travaillent plus intelligemment, et non plus durement

À mesure que les modèles d’IA deviennent plus volumineux et plus lents, les défis liés aux impacts environnementaux et à la demande énergétique ne cessent de croître. Les modèles actuels traitent et mémorisent l’information sous forme d’une séquence de représentations à granularité fixe. Le projet AToM-FM, financé par le CER, vise à créer des modèles d’IA plus efficaces en adaptant la longueur de chaque séquence à la volée, sans perte d’information. En surmontant le principal goulot d’étranglement des architectures de modèles actuelles, les modèles d’IA AToM seront plus rapides et plus légers, ce qui permettra de réaliser des économies d’énergie et de réduire les dommages environnementaux. AToM-FM permettra d’exploiter les mémoires permanentes, permettant ainsi aux modèles d’IA d’apprendre en continu, et d’améliorer leurs capacités de raisonnement, leur permettant d’explorer des hypothèses plus complexes dans le même temps de raisonnement. Ce projet inaugurera une ère de technologies d’IA plus intelligentes et plus écologiques.

Objectif

"The recent revolution in generative AI is powered by the ever-growing scale of Foundation Models (FMs). This, however, causes a series of harmful ramifications, such as their unsustainable energy demand and environmental pollution, which accelerate climate change. Moreover, the scale of FMs jeopardises data privacy, as it compels users to deploy them on third-party servers rather than edge devices. AToM-FM sets out to reverse this trend by remedying a fundamental source of inefficiency in FMs: the granularity of the ""atomic"" units for representing information in current FMs is fixed, as it entirely depends on how they update their memory and segment input data (a process known as tokenization). Instead, AToM-FMs will couple their granularity with the complexity of each task, allocating only as much computing effort as needed. As its key technical breakthrough, AToM-FM will make memory and tokenization adaptive, elevating FMs to unprecedented levels of efficiency. To facilitate the swift adoption of this new technology, I will repurpose state-of-the-art FMs into adaptive architectures and release them to the public. This will not only drastically cut the carbon footprint of FM deployment and uphold data privacy, but also foster the emergence of new FM capabilities. In fact, compressing the FM representations will effectively broaden their horizon, i.e. the amount of input and output they can perceive and generate, respectively, without exhausting their memory. This will unlock 1) permanent memories, which are a prerequisite for lifelong learning; 2) longer reasoning chains, perfecting the mathematical and planning skills of FMs; 3) modality-agnostic and fine-grained inputs, facilitating the integration of low-resource modalities and grounding agentive FMs onto physical spaces. Overall, AToM-FM's ambitious agenda will usher in the next generation of FMs, paving the way for efficient and long-horizon AI."

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2025-STG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

IMPERIAL COLLEGE OF SCIENCE TECHNOLOGY AND MEDICINE
Contribution nette de l'UE
€ 1 418 809,59
Adresse
SOUTH KENSINGTON CAMPUS EXHIBITION ROAD
SW7 2AZ London
Royaume-Uni
Région
London Inner London — West Westminster
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 1 418 809,59

Bénéficiaires (2)