Projektbeschreibung
Innovative 3D-gestapelte KI-Inferenzchips für große Multimilliarden-Parameter-Sprachmodelle auf Edge-Bauelementen
Große Sprachmodelle umfassen oft Milliarden Parameter, und deren Ausführung in Edge-Bauelementen begrenzt die Chipgröße. Da Parametergröße und Komplexität großer Sprachmodelle immer weiter zunehmen, werden die aktuellen Technologien daran scheitern, sie zu unterstützen. Um dieses Problem zu lösen, zielt das Team des EIC-finanzierten Projekts Aloe AI darauf ab, einen 3D-gestapelten KI-Inferenzchip zu entwickeln, der große Sprachmodelle auf kleinstem Raum integriert. Hierzu dient eine neuartige Halbleitertechnologie, die auf einem kapazitiven Ansatz basiert und ein grundsätzlich besseres Signal-Rausch-Verhältnis aufweist, das erforderlich ist, um Energieeffizienz ohne Überhitzung zu realisieren. Um eine verbesserte Leistung, eine erhöhte Speicherkapazität und geringere Kosten zu gewährleisten, werden die Rechenschichten im Halbleiter gemäß dem 3D-NAND-Flash-Ansatz gestapelt.
Ziel
Large Language Models (LLMs) are at the center of the roadmaps of almost all large tech companies for new features in electronic devices. However, they usually consists of billions of parameter and running them outside the cloud in edge devices limits the chip size often to less than a square centimetre of silicon and less than 1 W continuous power consumption amongst other criteria. Current technologies not just fail to provide these technical features but also lack of the potential to meet these requirements in the future. This includes digital hardware (energy in-efficiency) as well as new compute paradigms (e.g. in-memory computing) that can only run models of few million parameters on such a small footprint. Instead of the expensive and limited technology node scaling, SEMRON is working on a 3D scaled AI inference chip to incorporate LLMs on a tiny footprint without overheating. This is enabled by a new semiconductor technology that was already tested (CapRAM). CapRAM is utilising a capacitive approach instead of the resistive approaches known in other in-memory computing approaches. This approach shows an inherently better signal-to-noise ratio that is necessary to achieve the energy-efficiency that is required to not run into overheating issues when increasing the compute density (3D). With monolithic growth the compute layers are stacked in the semiconductor manufacturing process based on the matured 3D NAND flash approach. This not just provides the ability to stack hundreds of compute layers but also to decrease the costs per performance ratio by two orders of magnitude. SEMRON is building the demonstrator of such monolithically grown 3D AI inference chip based on the CapRAM technology that itself already constitutes a superior AI solution for edge devices.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Naturwissenschaften Elektromagnetismus und Elektronik Halbleiterbauelement
- Naturwissenschaften Chemiewissenschaften anorganische Chemie Metalloide
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.3.1 - The European Innovation Council (EIC)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-EIC-ACC - HORIZON EIC Accelerator
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) HORIZON-EIC-2024-ACCELERATOR-02
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenKoordinator
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
01067 DRESDEN
Deutschland
Die Organisation definierte sich zum Zeitpunkt der Unterzeichnung der Finanzhilfevereinbarung selbst als KMU (Kleine und mittlere Unternehmen).
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.