Nuevo enfoque para software de sistemas destinado a superordenadores más potentes
Históricamente, el software para gestionar los superordenadores actuales era desarrollado por distintos actores de forma no coordinada. Este enfoque es un obstáculo para aumentar la escala de los sistemas actuales. El proyecto CLARISSE (Cross-layer abstractions and run-time for I/O software stack of extreme-scale systems), financiado por la Unión Europea, pretendía impulsar el rendimiento, la escalabilidad, la programabilidad y la robustez de la gestión de datos en aplicaciones científicas de computación en paralelo. Esto contribuirá al diseño de infraestructuras de computación en paralelo a gran escala dos órdenes de magnitud más veloces que los superordenadores actuales. Los socios del proyecto investigaron, diseñaron e implementaron mecanismos de control para la divulgación de indicaciones de aplicaciones, respuestas en tiempo de ejecución y notificaciones entre capas y la distribución de funciones de entrada/salida (E/S) por toda la pila de E/S del software. Construyeron un prototipo de placa madre posterior de control para usarlo como sistema de publicación/suscripción, y una infraestructura de monitorización distribuida para divulgar, filtrar y agregar cantidades arbitrarias de métricas de todo el sistema. Con el fin de mejorar la estabilidad y la resiliencia de la pila de software de E/S, los investigadores estudiaron algoritmos y diseñaron e implementaron mecanismos y políticas para realizar un control adaptativo de la ruta de E/S de datos para almacenamiento. Esto incluía un sustrato como búfer y un conjunto de nuevas abstracciones en el plano de datos. Implementaron dos métodos de E/S colectiva cuya distribución de datos se puede controlar desde la placa madre posterior. El equipo de CLARISSE estudió y desarrolló técnicas para exponer y aprovechar la localidad de los datos mediante la pila de E/S de software con el fin de reducir el tráfico de E/S de almacenamiento y mejorar el rendimiento. Los resultados muestran que, mediante el equilibrio entre la localidad de los datos y la carga computacional, es posible reducir de forma notable el tráfico de E/S y, a la vez, mejorar el rendimiento y la escalabilidad frente a las prácticas existentes. El proyecto introdujo políticas de programación que tenían en cuenta la localidad con el fin de facilitar flujos de trabajo científicos que permiten controlar los datos y la asignación de tareas de forma más o menos estricta. CLARISSE ha hecho posible coordinar la gestión de datos en distintas capas del sistema. Las tecnologías desarrolladas se podrían aplicar para avanzar en el rendimiento y la escalabilidad de aplicaciones de computación en paralelo de uso científico y para ingeniería, como modelización del clima, diseño de materiales, astrofísica, genética y bioingeniería.
Palabras clave
CLARISSE, abstracciones entre capas, tiempo de ejecución, pila de software, sistemas de escala extrema
