Breakthrough 3D-Stacked AI Inference Chip Enabling the Deployment of Multi-Billion-Parameter LLMs on Edge Devices

Información del proyecto

Aloe AI

Identificador del acuerdo de subvención: 101218503

DOI

10.3030/101218503

Fecha de la firma de la CE 18 Junio 2025

Fecha de inicio 1 Enero 2025

Fecha de finalización 31 Diciembre 2026

Financiado con arreglo a

• The European Innovation Council (EIC)

Coste total

Sin datos

Aportación de la UE

€ 2 499 999,00

Coordinado por

SEMRON GMBH
Germany

Descripción del proyecto

Innovación en chips de inferencia de inteligencia artificial apilados tridimensionalmente para implementar grandes modelos de lenguaje con miles de millones de parámetros en dispositivos periféricos

Los grandes modelos de lenguaje (LLM, por sus siglas en inglés) a menudo comprenden miles de millones de parámetros y ejecutarlos en dispositivos de borde limita el tamaño del chip. A medida que los LLM continúan creciendo en tamaño de parámetros y complejidad, las tecnologías actuales no podrán soportarlos. Para abordar este problema, el proyecto Aloe AI, financiado por el Consejo Europeo de Innovación, tiene como objetivo desarrollar un chip de inferencia de inteligencia artificial apilado tridimensionalmente que incorpore LLM en un espacio diminuto. Para ello, utilizará una novedosa tecnología de semiconductores que se basa en un método capacitivo y demuestra una relación señal-ruido fundamentalmente superior, necesaria para lograr eficiencia energética sin sobrecalentamiento. Para garantizar un mejor rendimiento, una mayor capacidad de almacenamiento y una reducción de costes, las capas de cómputo se apilan en el semiconductor según el método «flash NAND 3D».

Objetivo

Large Language Models (LLMs) are at the center of the roadmaps of almost all large tech companies for new features in electronic devices. However, they usually consists of billions of parameter and running them outside the cloud in edge devices limits the chip size often to less than a square centimetre of silicon and less than 1 W continuous power consumption amongst other criteria. Current technologies not just fail to provide these technical features but also lack of the potential to meet these requirements in the future. This includes digital hardware (energy in-efficiency) as well as new compute paradigms (e.g. in-memory computing) that can only run models of few million parameters on such a small footprint. Instead of the expensive and limited technology node scaling, SEMRON is working on a 3D scaled AI inference chip to incorporate LLMs on a tiny footprint without overheating. This is enabled by a new semiconductor technology that was already tested (CapRAM). CapRAM is utilising a capacitive approach instead of the resistive approaches known in other in-memory computing approaches. This approach shows an inherently better signal-to-noise ratio that is necessary to achieve the energy-efficiency that is required to not run into overheating issues when increasing the compute density (3D). With monolithic growth the compute layers are stacked in the semiconductor manufacturing process based on the matured 3D NAND flash approach. This not just provides the ability to stack hundreds of compute layers but also to decrease the costs per performance ratio by two orders of magnitude. SEMRON is building the demonstrator of such monolithically grown 3D AI inference chip based on the CapRAM technology that itself already constitutes a superior AI solution for edge devices.

Ámbito científico (EuroSciVoc)

• ciencias naturales › ciencias físicas › electromagnetismo y electrónica › dispositivo semiconductor

Palabras clave

• Edge computing
• edge AI
• semiconductors
• chips
• consumer electronics
• deep learning
• generative AI
• large language models
• smartphones
• smart watches

Programa(s)

• HORIZON.3.1 - The European Innovation Council (EIC) PROGRAMA PRINCIPAL
  

Tema(s)

• HORIZON-EIC-2024-ACCELERATORCHALLENGES-03A - Enabling the smart edge
  

Régimen de financiación

HORIZON-EIC-ACC - HORIZON EIC Accelerator

Convocatoria de propuestas

HORIZON-EIC-2024-ACCELERATOR-02

Coordinador

SEMRON GMBH

• Aportación neta de la UEn: € 2 499 999,00
• Dirección: FRAUENSTRASSE 9 ; 01067 DRESDEN ; Alemania
• Pyme Sí:
  Región
  Sachsen › Dresden › Dresden, Kreisfreie Stadt
• Región: Sachsen › Dresden › Dresden, Kreisfreie Stadt
• Tipo de actividad: Private for-profit entities (excluding Higher or Secondary Education Establishments)
• Coste total: Sin datos