Search

La maleabilidad de procesos puede definirse como la capacidad de un trabajo paralelo MPI distribuido para modificar el número de procesos sin detener su ejecución, reasignando los recursos computacionales inicialmente asignados al trabajo tantas veces como sea necesario. En general, la maleabilidad se compone de cuatro etapas: reasignación de recursos, gestión de procesos, redistribución de datos y reanudación de la ejecución. Entre ellas, la tercera etapa es la que más tiempo consume y domina el tiempo total de reconfiguración. En este artículo se comparan diferentes implementaciones de esta etapa utilizando operaciones MPI punto a punto y colectivas, incluyendo sus versiones no bloqueantes, tanto para Ethernet 10G como para Infiniband EDR. Estas estrategias de redistribución de datos se combinan con diferentes métodos para expandir/reducir trabajos utilizando una aplicación que solo realiza la segunda y tercera etapa de la maleabilidad, lo que permite evaluar el coste de las diferentes metodologías de modo aislado. Los resultados muestran que la versión punto a punto no bloqueante junto al método de creación de procesos Merge, es la alternativa que más reduce el tiempo de redistribución.

Malleability allows computing facilities to adapt their workloads through resource management systems to maximize the throughput of the facility and the efficiency of the executed jobs. This technique is based on reconfiguring a job to a different resource amount during execution and then continuing with it. One of the stages of malleability is the dynamic spawning of processes in execution time, where different decisions in this stage will affect how the next stage of data redistribution is performed, which is the most time-consuming stage. This paper describes different methods and strategies, defining eight different alternatives to spawn processes dynamically and indicates which one should be used depending on whether a strong or weak scaling application is being used. In addition, it is described for both types of applications which strategies benefit most the application performance or the system productivity. The results show that reducing the number of spawning processes by reusing the older ones can reduce reconfiguration time compared to the classical method by up to 2.6 times for expanding and up to 36 times for shrinking. Furthermore, the asynchronous strategy requires analysing the impact of oversubscription on application performance. This work has been funded by the following projects: project PID2020-113656RB-C21 supported by MCIN/AEI/10.13039/501100011033 and project UJI-B2019-36 supported by UniversitatJaume I. Researcher S. Iserte was supported by the postdoctoralfellowship APOSTD/2020/026, and researcher I. Martín- Álvarez was supported by the predoctoral fellowship ACIF/2021/260, both from Valencian Region Government and European Social Funds.

Krylov methods provide a fast and highly parallel numerical tool for the iterative solution of many large-scale sparse linear systems. To a large extent, the performance of practical realizations of these methods is constrained by the communication bandwidth in current computer architectures, motivating the investigation of sophisticated techniques to avoid, reduce, and/or hide the message-passing costs (in distributed platforms) and the memory accesses (in all architectures). This article leverages Ginkgo’s memory accessor in order to integrate a communication-reduction strategy into the (Krylov) GMRES solver that decouples the storage format (i.e., the data representation in memory) of the orthogonal basis from the arithmetic precision that is employed during the operations with that basis. Given that the execution time of the GMRES solver is largely determined by the memory accesses, the cost of the datatype transforms can be mostly hidden, resulting in the acceleration of the iterative step via a decrease in the volume of bits being retrieved from memory. Together with the special properties of the orthonormal basis (whose elements are all bounded by 1), this paves the road toward the aggressive customization of the storage format, which includes some floating-point as well as fixed-point formats with mild impact on the convergence of the iterative process. We develop a high-performance implementation of the “compressed basis GMRES” solver in the Ginkgo sparse linear algebra library using a large set of test problems from the SuiteSparse Matrix Collection. We demonstrate robustness and performance advantages on a modern NVIDIA V100 graphics processing unit (GPU) of up to 50% over the standard GMRES solver that stores all data in IEEE double-precision.

Ponència presentada en el XXXII Jornadas de Paralelismo (JP2022) y VI Jornadas de Computación Empotrada y Reconfigurable (JCER2022) SARTECO 2022 Hoy en día, la mejora del rendimiento en los grandes clusters de ordenadores recomienda el desarrollo de aplicaciones maleables. Así, durante la ejecución de estas aplicaciones en un trabajo, el sistema de gestión de recursos (RMS) puede modificar su asignación de recursos, con el fin de aumentar el rendimiento global. Existen diferentes alternativas para completar los distintos pasos en los que se descompone la reasignación de recursos. Para encontrar las mejores alternativas, este trabajo introduce una aplicación sintética iterativa maleable MPI capaz de modificar, en tiempo de ejecución, el número de procesos MPI en función de varios parámetros. La aplicación incluye un módulo de rendimiento para medir el coste de las etapas dentro de los pasos, desde la gestión de los procesos hasta la redistribución de los datos. De este modo, el análisis de diferentes escenarios permitirá concluir cómo debe realizarse la redistribución de datos en diferentes circunstancias.

Este artículo compara las prestaciones de dos implementaciones paralelas del Gradiente Conjugado con maleabilidad. La maleabilidad permite que una aplicación reconfigure en tiempo de ejecución sus recursos, pudiendo solicitar más recursos para mejorar sus prestaciones o reducirlos para permitir que otras aplicaciones en el sistema puedan iniciar su ejecución. En el primer caso, se pretende mejorar el tiempo de ejecución, mientras que el segundo permite reducir el tiempo de espera de otros trabajos, mejorando la productividad del sistema. Las dos versiones se diferencian en el tipo de comunicaciones que utilizan entre los procesos durante el redimensionado. Una utiliza únicamente comunicaciones síncronas mientras que la otra combina síncronas y asíncronas. Los resultados obtenidos muestran que ambas mejoran el rendimiento de la aplicación paralela original al aumentar el número de procesos asignados obteniendo un rendimiento muy similar entre ellas.