Opis projektu
Innowacyjne układy wnioskowania SI w technologii 3D pozwolą na wykorzystywanie LLM o miliardach parametrów na urządzeniach brzegowych
Duże modele językowe (LLM) często obejmują miliardy parametrów, a ich uruchamianie na urządzeniach brzegowych ogranicza rozmiar układów scalonych. W miarę wzrostu rozmiarów i złożoności parametrów dużych modeli językowych, obecne technologie stracą możliwość ich obsługi. Aby temu zaradzić, zespół finansowanego ze środków Europejskiej Rady ds. Innowacji projektu Aloe AI opracuje układ wnioskowania wykonany w technologii 3D, który pozwoli na obsługę modeli LLM na niewielkiej powierzchni. Aby to osiągnąć, zespół wykorzysta nowatorską technologię półprzewodnikową oparta na podejściu pojemnościowym, która charakteryzuje się zasadniczo lepszym stosunkiem sygnału do szumu, niezbędnym do osiągnięcia efektywności energetycznej bez przegrzewania. Aby zapewnić lepszą wydajność, większą pojemność pamięci masowej i niższe koszty, warstwy obliczeniowe są układane podobnie jak w przypadku technologii pamięci flash 3D NAND.
Cel
Large Language Models (LLMs) are at the center of the roadmaps of almost all large tech companies for new features in electronic devices. However, they usually consists of billions of parameter and running them outside the cloud in edge devices limits the chip size often to less than a square centimetre of silicon and less than 1 W continuous power consumption amongst other criteria. Current technologies not just fail to provide these technical features but also lack of the potential to meet these requirements in the future. This includes digital hardware (energy in-efficiency) as well as new compute paradigms (e.g. in-memory computing) that can only run models of few million parameters on such a small footprint. Instead of the expensive and limited technology node scaling, SEMRON is working on a 3D scaled AI inference chip to incorporate LLMs on a tiny footprint without overheating. This is enabled by a new semiconductor technology that was already tested (CapRAM). CapRAM is utilising a capacitive approach instead of the resistive approaches known in other in-memory computing approaches. This approach shows an inherently better signal-to-noise ratio that is necessary to achieve the energy-efficiency that is required to not run into overheating issues when increasing the compute density (3D). With monolithic growth the compute layers are stacked in the semiconductor manufacturing process based on the matured 3D NAND flash approach. This not just provides the ability to stack hundreds of compute layers but also to decrease the costs per performance ratio by two orders of magnitude. SEMRON is building the demonstrator of such monolithically grown 3D AI inference chip based on the CapRAM technology that itself already constitutes a superior AI solution for edge devices.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
- nauki przyrodnicze nauki fizyczne elektromagnetyzm i elektronika urządzenie półprzewodnikowe
- nauki przyrodnicze nauki chemiczne chemia nieorganiczna metaloidy
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.3.1 - The European Innovation Council (EIC)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-EIC-ACC - HORIZON EIC Accelerator
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) HORIZON-EIC-2024-ACCELERATOR-02
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaKoordynator
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
01067 DRESDEN
Niemcy
Organizacja określiła się jako MŚP (firma z sektora małych i średnich przedsiębiorstw) w czasie podpisania umowy o grant.
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.