Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

Adaptive Tokenization and Memory in Foundation Models for Efficient and Long-Horizon AI

Descripción del proyecto

Modelos de inteligencia artificial que trabajan de forma más eficiente con menos esfuerzo

A medida que los modelos de inteligencia artificial (IA) se hacen más grandes y lentos, también crecen los problemas asociados con su impacto ambiental y consumo de energía. Los modelos actuales procesan y memorizan información como una secuencia de representaciones con una granularidad fija. El proyecto AToM-FM, financiado por el Consejo Europeo de Investigación, tiene por objeto desarrollar modelos de IA más eficientes, adaptando la longitud de cada secuencia sobre la marcha, sin perder información. Los modelos de IA de AToM-FM superarán los principales cuellos de botella de las arquitecturas actuales, lo que los hará más rápidos y eficientes, ahorrando energía y reduciendo el impacto ambiental. AToM-FM permitirá disponer de memorias permanentes, de modo que los modelos de IA puedan aprender de forma continua, y mejorará sus capacidades de razonamiento, permitiéndoles explorar hipótesis más complejas en el mismo tiempo de análisis. El proyecto marcará el comienzo de una era de tecnología de IA más eficiente y sostenible.

Objetivo

"The recent revolution in generative AI is powered by the ever-growing scale of Foundation Models (FMs). This, however, causes a series of harmful ramifications, such as their unsustainable energy demand and environmental pollution, which accelerate climate change. Moreover, the scale of FMs jeopardises data privacy, as it compels users to deploy them on third-party servers rather than edge devices. AToM-FM sets out to reverse this trend by remedying a fundamental source of inefficiency in FMs: the granularity of the ""atomic"" units for representing information in current FMs is fixed, as it entirely depends on how they update their memory and segment input data (a process known as tokenization). Instead, AToM-FMs will couple their granularity with the complexity of each task, allocating only as much computing effort as needed. As its key technical breakthrough, AToM-FM will make memory and tokenization adaptive, elevating FMs to unprecedented levels of efficiency. To facilitate the swift adoption of this new technology, I will repurpose state-of-the-art FMs into adaptive architectures and release them to the public. This will not only drastically cut the carbon footprint of FM deployment and uphold data privacy, but also foster the emergence of new FM capabilities. In fact, compressing the FM representations will effectively broaden their horizon, i.e. the amount of input and output they can perceive and generate, respectively, without exhausting their memory. This will unlock 1) permanent memories, which are a prerequisite for lifelong learning; 2) longer reasoning chains, perfecting the mathematical and planning skills of FMs; 3) modality-agnostic and fine-grained inputs, facilitating the integration of low-resource modalities and grounding agentive FMs onto physical spaces. Overall, AToM-FM's ambitious agenda will usher in the next generation of FMs, paving the way for efficient and long-horizon AI."

Ámbito científico (EuroSciVoc)

Palabras clave

Programa(s)

Tema(s)

Régimen de financiación

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

(se abrirá en una nueva ventana) ERC-2025-STG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

IMPERIAL COLLEGE OF SCIENCE TECHNOLOGY AND MEDICINE
Aportación neta de la UEn
€ 1 418 809,59
Dirección
SOUTH KENSINGTON CAMPUS EXHIBITION ROAD
SW7 2AZ London
Reino Unido
Región
London Inner London — West Westminster
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total
€ 1 418 809,59

Beneficiarios (2)