Descripción del proyecto
Innovación en chips de inferencia de inteligencia artificial apilados tridimensionalmente para implementar grandes modelos de lenguaje con miles de millones de parámetros en dispositivos periféricos
Los grandes modelos de lenguaje (LLM, por sus siglas en inglés) a menudo comprenden miles de millones de parámetros y ejecutarlos en dispositivos de borde limita el tamaño del chip. A medida que los LLM continúan creciendo en tamaño de parámetros y complejidad, las tecnologías actuales no podrán soportarlos. Para abordar este problema, el proyecto Aloe AI, financiado por el Consejo Europeo de Innovación, tiene como objetivo desarrollar un chip de inferencia de inteligencia artificial apilado tridimensionalmente que incorpore LLM en un espacio diminuto. Para ello, utilizará una novedosa tecnología de semiconductores que se basa en un método capacitivo y demuestra una relación señal-ruido fundamentalmente superior, necesaria para lograr eficiencia energética sin sobrecalentamiento. Para garantizar un mejor rendimiento, una mayor capacidad de almacenamiento y una reducción de costes, las capas de cómputo se apilan en el semiconductor según el método «flash NAND 3D».
Objetivo
Large Language Models (LLMs) are at the center of the roadmaps of almost all large tech companies for new features in electronic devices. However, they usually consists of billions of parameter and running them outside the cloud in edge devices limits the chip size often to less than a square centimetre of silicon and less than 1 W continuous power consumption amongst other criteria. Current technologies not just fail to provide these technical features but also lack of the potential to meet these requirements in the future. This includes digital hardware (energy in-efficiency) as well as new compute paradigms (e.g. in-memory computing) that can only run models of few million parameters on such a small footprint. Instead of the expensive and limited technology node scaling, SEMRON is working on a 3D scaled AI inference chip to incorporate LLMs on a tiny footprint without overheating. This is enabled by a new semiconductor technology that was already tested (CapRAM). CapRAM is utilising a capacitive approach instead of the resistive approaches known in other in-memory computing approaches. This approach shows an inherently better signal-to-noise ratio that is necessary to achieve the energy-efficiency that is required to not run into overheating issues when increasing the compute density (3D). With monolithic growth the compute layers are stacked in the semiconductor manufacturing process based on the matured 3D NAND flash approach. This not just provides the ability to stack hundreds of compute layers but also to decrease the costs per performance ratio by two orders of magnitude. SEMRON is building the demonstrator of such monolithically grown 3D AI inference chip based on the CapRAM technology that itself already constitutes a superior AI solution for edge devices.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
- ciencias naturales ciencias físicas electromagnetismo y electrónica dispositivo semiconductor
- ciencias naturales ciencias químicas química inorgánica metaloides
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.3.1 - The European Innovation Council (EIC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-EIC-ACC - HORIZON EIC Accelerator
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) HORIZON-EIC-2024-ACCELERATOR-02
Ver todos los proyectos financiados en el marco de esta convocatoriaCoordinador
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
01067 DRESDEN
Alemania
Organización definida por ella misma como pequeña y mediana empresa (pyme) en el momento de la firma del acuerdo de subvención.
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.