Search

In this paper, we propose an approach to adapt the I/O forwarding layer of HPC systems to applications’ access patterns. I/O optimization techniques can improve performance for the access patterns they were designed to target, but they often decrease performance for others. Furthermore, these techniques usually depend on the precise tune of their parameters, which commonly falls back to the users. Instead, we propose to do it dynamically at runtime based on the I/O workload observed by the system. Our approach uses a reinforcement learning technique – contextual bandits – to make the system capable of learning the best parameter value to each observed access pattern during its execution. That eliminates the need of a complicated and time-consuming previous training phase. Our case study is the TWINS scheduling algorithm, where performance improvements depend on the time window parameter, which in turn depends on the workload. We evaluate our proposal and demonstrate it can reach a precision of 88% on the parameter selection in the first hundreds of observations of an access pattern, achieving 99% of the optimal performance. We demonstrate that the system – which is expected to live for years – will be able to adapt to changes and optimize its performance after having observed an access pattern for a few (not necessarily contiguous) minutes. This study was financed in part by the Coordenaçao de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Finance Code 001. It has also received support from the Conselho Nacional de Desenvolvimento Científico e Tecnologico (CNPq), Brazil; the LICIA International Laboratory; NCSA-Inria-ANL-BSC-JSC-Riken Joint-Laboratory on Extreme Scale Computing (JLESC); the Spanish Ministry of Science and Innovation under the TIN2015–65316 grant; and the Generalitat de Catalunya under contract 2014– SGR–1051. This research received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No. 800144.

In high performance computing architectures, the I/O forwarding technique is often used to alleviate contention in the access to the shared parallel file system servers. Intermediate I/O nodes are placed between compute nodes and these servers, and are responsible for forwarding requests. In this scenario, it is important to properly distribute the number of available I/O nodes among the running jobs to promote an efficient usage of these resources and improve I/O performance. However, the impact different numbers of I/O nodes have on an application bandwidth depends on its characteristics. In this report, we explore the idea of predicting application performance by extracting information from a coarse-grained aggregated trace from a previous execution, and then using this information to match each of the application's I/O phases to an equivalent benchmark, for which we could have performance results. We test this idea by applying it to five different applications over three case studies, and find a mean error of approximately 20%. We extensively discuss the obtained results and limitations to the approach, pointing at future work opportunities.; Dans les plate-formes pour calcul hautes performances, la technique d’I/O forwarding est souvent utilisée pour atténuer les conflits d’accès aux serveurs du système de fichiers parallèle, qui sont partagés par les applications. Les nœuds d’I/O intermédiaires sont placés entre les nœuds de calcul et ces serveurs et sont responsables de la transmission des demandes. Dans ce scénario, il est important de répartir correctement le nombre de nœuds d’I/O disponibles parmi les jobs en cours d’exécution pour promouvoir une utilisation efficace de ces ressources et améliorer les performances d’I/O. Cependant, l’impact de différents nombres de nœuds intermédiaires sur la bande passante d’une application dépend de ses caractéristiques.Dans ce rapport, nous explorons l’idée de prédire les performances de l’application en extrayant des informations d’une trace agrégée à gros grain d’une exécution précédente, puis en utilisant ces informations pour faire correspondre chacune des phases d’I/O de l’application à un benchmark équivalent, pour lequel on pourrait avoir des résultats de performance. Nous testons cette idée en l’appliquant à cinq applications différentes sur trois études de cas, et trouvons une erreur moyenne d’environ 20%. Nous discutons longuement les résultats obtenus et les limites de l’approche, en indiquant des opportunités pour travaux futures.

In high performance computing architectures, the I/O forwarding technique is often used to alleviate contention in the access to the shared parallel file system servers. Intermediate I/O nodes are placed between compute nodes and these servers, and are responsible for forwarding requests. In this scenario, it is important to properly distribute the number of available I/O nodes among the running jobs to promote an efficient usage of these resources and improve I/O performance. However, the impact different numbers of I/O nodes have on an application bandwidth depends on its characteristics. In this report, we explore the idea of predicting application performance by extracting information from a coarse-grained aggregated trace from a previous execution, and then using this information to match each of the application's I/O phases to an equivalent benchmark, for which we could have performance results. We test this idea by applying it to five different applications over three case studies, and find a mean error of approximately 20%. We extensively discuss the obtained results and limitations to the approach, pointing at future work opportunities.; Dans les plate-formes pour calcul hautes performances, la technique d’I/O forwarding est souvent utilisée pour atténuer les conflits d’accès aux serveurs du système de fichiers parallèle, qui sont partagés par les applications. Les nœuds d’I/O intermédiaires sont placés entre les nœuds de calcul et ces serveurs et sont responsables de la transmission des demandes. Dans ce scénario, il est important de répartir correctement le nombre de nœuds d’I/O disponibles parmi les jobs en cours d’exécution pour promouvoir une utilisation efficace de ces ressources et améliorer les performances d’I/O. Cependant, l’impact de différents nombres de nœuds intermédiaires sur la bande passante d’une application dépend de ses caractéristiques.Dans ce rapport, nous explorons l’idée de prédire les performances de l’application en extrayant des informations d’une trace agrégée à gros grain d’une exécution précédente, puis en utilisant ces informations pour faire correspondre chacune des phases d’I/O de l’application à un benchmark équivalent, pour lequel on pourrait avoir des résultats de performance. Nous testons cette idée en l’appliquant à cinq applications différentes sur trois études de cas, et trouvons une erreur moyenne d’environ 20%. Nous discutons longuement les résultats obtenus et les limites de l’approche, en indiquant des opportunités pour travaux futures.