Nuovo approccio software di sistema, per supercomputer più potenti
I software per la gestione dei supercomputer di oggi sono stati storicamente concepiti da diversi attori, in modo non coordinato. Questo approccio costituisce un ostacolo per aumentare la scala di grandezza dei sistemi attuali. Il progetto CLARISSE (Cross-layer abstractions and run-time for I/O software stack of extreme-scale systems), finanziato dall’UE, ha tentato di migliorare le prestazioni, la scalabilità, la programmabilità e la solidità della gestione dati delle applicazioni scientifiche parallele. Ciò contribuirà alla progettazione di infrastrutture di calcolo parallelo su larga scala, due ordini di grandezza più veloci rispetto ai supercomputer attuali. I partner del progetto hanno studiato, progettato e realizzato meccanismi di controllo per la diffusione cross-layer di suggerimenti relativi all’applicazione, feedback della fase di esecuzione, funzionalità di notifica e trasporto di input/output (I/O) in tutto lo stack software I/O. Hanno costruito una piastra madre del prototipo per l’impiego come sistema di pubblicazione/sottoscrizione, e un’infrastruttura di monitoraggio distribuita per diffondere, filtrare e mettere insieme numeri arbitrari aggregati metrici a livello di sistema. Per migliorare la scalabilità e resilienza dello stack software I/O, i ricercatori hanno progettato e realizzato algoritmi, meccanismi e politiche per il controllo adattativo del percorso dati di memorizzazione. Questi includono un substrato di bufferizzazione e una serie di nuove astrazioni per il piano dati. Sono stati realizzati due metodi di I/O collettivi la cui attività relativa ai dati può essere controllata da una piastra madre. Il team del progetto CLARISSE ha studiato e sviluppato tecniche per l’esposizione e la valorizzazione relativa alla località dei dati per tutto lo stack software di I/O, al fine di ridurre il traffico I/O di memorizzazione e migliorare le prestazioni sviluppate. I risultati dimostrano che cambiando la località dei dati e il bilanciamento del carico computazionale, il traffico I/O può essere sostanzialmente ridotto, migliorando così le prestazioni e la scalabilità sulla pratica. Il progetto ha introdotto politiche di pianificazione consapevoli della località per flussi di lavoro scientifici che consentono il controllo dei dati e il posizionamento dei compiti con diversi gradi di precisione. La coordinazione dei dati su diversi livelli del sistema è diventata possibile grazie al progetto CLARISSE. Le tecnologie sviluppate potrebbero essere applicate per far progredire le prestazioni e la scalabilità di applicazioni scientifiche e ingegneristiche parallele come la modellizzazione del clima, il design dei materiali, l’astrofisica, la genetica e la bioingegneria.
Parole chiave
CLARISSE, astrazioni cross-layer, fase di esecuzione, stack software, sistemi su scala di grandezza estrema
