JUPITER Advanced Research Vehicle for Inference Services

Projektbeschreibung

Den Weg für eine schnellere und für die reale Welt bereite KI ebnen

Die KI geht vom Erkennen zum Schlussfolgern über. Das Training leistungsfähiger KI-Modelle, die in großem Maßstab Schlussfolgerungen ziehen, reagieren und anpassungsfähig sein können, ist der nächste Schritt in der KI-Entwicklungsgeschichte. Die wichtigste Frage lautet nicht mehr, wie schnell ein Modell lernen kann, sondern wie effizient es denken kann. Das EU-finanzierte Projekt JARVIS soll diese Lücke schließen. Hierzu wird es genauer gesagt mit JUPITER, dem leistungsstärksten Supercomputer Europas und dem viertschnellsten der Welt, zusammenarbeiten. Das Projekt wird eine spezielle Hochleistungsplattform für die Phase schaffen, in der ein KI-Modell tatsächlich Aufgaben ausführt. Das Ziel ist die Entwicklung einer KI der nächsten Generation, die nicht nur schneller und energieeffizienter ist, sondern auch den Anforderungen der realen Welt gerecht wird.

Ziel

JAIF will serve customers on the exascale supercomputer complex around JUPITER, scheduled to become operational in mid-2025. JUPITER is poised to be one of the strongest AI training machines in the world that allows, due to its superfast connectivity, full parallelism of training models on thousands of nodes. JAIF will help exploit JUPITER's outstanding capabilities and capacities, and leverage its transformative power for AI training.

In addition, the call offers the exciting opportunity to implement an experimental supercomputing platform for AI calculations. JAIF proposes to implement JARVIS, the JUPITER Advanced Research Vehicle for Inference Services. In JARVIS, a variety of experimental technological components of European origin will be integrated. JARVIS operates as a high-performance and highly scalable inference system that ideally complements JUPITER's AI training capabilities by achieving maximum throughput in terms of AI inference accessed through industry-standard cloud technologies.

JARVIS’ features are becoming very important for types of foundation models like largest language models (LLM) or reinforced LMMs like OpenAI’s o1 or DeepSeek-R1. The recent emergence of inference techniques, referred to as Inference Time-Scaling or as Test-Time Compute will require much larger scalable inference server capacities as the inference cycles become much longer due to the simulated reasoning iterations. In contrast to JUPITERs fully scalable connectivity, JARVIS will feature many islands of tightly connected nodes comprising between 4 and 16 large-memory nodes given current model sizes and those anticipated for the coming years. It is expected that this trend in AI algorithms will make the direct combination and tightest integration of training and inference systems on a modular hardware basis virtually essential.