Search

International audience; Dans cet article, nous proposons le développement d'un outil interactif qui permette aux opérateurs et leurs clients de visualiser les topologies de réseaux multi-couches et des les extraire dans le langage déclaratif YANG développé par l'IETF. Afin de réduire les délais de déploiement, qui peuvent venir d'une distance entre les clients et l'opérateur-compétences techniques variées, vocabulaire-, nous proposons (a) un module pour décrire les données nécessaires à la visualisation des topologies, et (b) une mise en oeuvre sous forme d'une interface web pour la visualisation interactive de graphes multi-couches, adaptée aux topologies réseaux.

International audience; Large-scale distributed systems are highly dynamic: nodes may crash, messages may be delayed or lost, new nodes may join, virtual machines may migrate... The workload may also vary a lot depending on the users or applications behavior. Thus, distributed systems and services must adapt continuously in order to remain efficient. To do so, distributed systems usually monitor their environment and maintain a knowledge of what has happened (e.g., heartbeats time-stamps for a failure detection mechanism, data access statistics for a distributed storage systems, etc.). Based on these observations, a distributed system can decide to adapt to better tackle future situations (migrate a virtual machine, create a new data replica, etc.). However, even if a system has a full event log, it is not a trivial task to decide how much and which part of the past must be taken into account. In this paper we propose and study the impact of multiple approaches, from "full-memory" to "no-memory" through "time-window" and "fading-memory" based strategies.

International audience; Distributed storage systems such as Hadoop File System or Google File System (GFS) ensure data availability and durability using replication. Persistence is achieved by replicating the same data block on several nodes, and ensuring that a minimum number of copies are available on the system at any time. Whenever the contents of a node are lost, for instance due to a hard disk crash, the system regenerates the data blocks stored before the failure by transferring them from the remaining replicas. This paper is focused on the analysis of the efficiency of replication mechanism that determines the location of the copies of a given file at some server. The variability of the loads of the nodes of the network is investigated for several policies. Three replication mechanisms are tested against simulations in the context of a real implementation of a such a system: Random, Least Loaded and Power of Choice.The simulations show that some of these policies may lead to quite unbalanced situations: if β is the average number of copies per node it turns out that, at equilibrium, the load of the nodes may exhibit a high variability. It is shown in this paper that a simple variant of a power of choice type algorithm has a striking effect on the loads of the nodes: at equilibrium, the distribution of the load of a node has a bounded support, most of nodes have a load less than 2β which is an interesting property for the design of the storage space of these systems. Stochastic models are introduced and investigated to explain this interesting phenomenon.

National audience; La diffusion en direct (live) de flux vidéos est devenue très populaire. De nombreux systèmes, comme justin.tv ou YouTube, collectent des flux vidéos live et les diffusent à des utilisateurs spectateurs en utilisant un ensemble de serveurs. Cependant, le nombre de spectateurs varie considérablement dans le temps et la distribution de la popularité parmi les flux est extrêmement hétérogène. Cela amène les fournisseurs de service à utiliser des plateformes surdimensionnées afin d’absorber les pics de spectateurs. Dans ce papier, en nous appuyant sur des traces de jus tin.tv et de YouTube, nous étudions le compromis entre le nombre de serveurs provisionnés et l’utilisation de la bande passante entre ces serveurs. Nous mettons également en évidence l’importance de pouvoir prédire la popularité des flux afin de les placer efficacement sur les serveurs. Nous proposons POPS : un service de diffusion en direct de flux vidéos se basant sur des prédictions de popularité.

Data replication is a key mechanism for building a reliable and efficient data management system. Indeed, by keeping several replicas for each piece of data, it is possible to improve durability. Furthermore, well-placed copies reduce data accesstime. However, having multiple copies for a single piece of data creates consistency problems when the data is updated. Over the last years, I made contributions related to these three aspects: data durability, data access performance and data consistency. RelaxDHT and SPLAD enhance data durability by placing data copies smartly. Caju, AREN and POPS reduce access time by improving data locality and by taking popularity into account. To enhance data lookup performance, DONUT creates efficient shortcuts taking data distribution into account. Finally, in the replicated database context, Gargamel parallelizes independent transactions only, improving database performance and avoiding aborting transactions. My research has been carried out in collaboration with height PhD students, four of which have defended. In my future work, I plan to extend these contributions by (i) designing a storage system tailored for MMOGs, which are very demanding, and (ii) designing a data management system that is able to re-distribute data automatically in order to scale the number of servers up and down according to the changing workload, leading to a greener data management.; La réplication de données est une technique clé pour permettre aux systèmes de gestion de données distribués à grande échelle d'offrir un stockage fiable et performant. Comme il gère un nombre suffisant de copies de chaque donnée, le système peut améliorer la pérennité. De plus, la présence de copies bien placées réduit les temps d'accès. Cependant, cette même existence de plusieurs copies pose des problèmes de cohérence en cas de modification. Ces dernières années, mes contributions ont porté sur ces trois aspects liés à la réplication de données: la pérennité des données, la performance desaccès et la gestion de la cohérence. RelaxDHT et SPLAD permettent d'améliorer la pérennité des données en jouant sur le placement des copies. Caju, AREN et POPS permettent de réduire les temps d'accès aux données en améliorant la localité et en prenant en compte la popularité. Pour accélérer la localisation des copies, DONUT crée des raccourcis efficaces prenant en compte la distribution des données. Enfin, dans le contexte des bases de données répliquées,Gargamel permet de ne paralléliser que les transactions qui sont indépendantes, améliorant ainsi les performances et évitant tout abandon de transaction pour cause de conflit. Ces travaux ont été réalisés avec huit étudiants en thèse dont quatre ont soutenu. Pour l'avenir, je me propose d'étendre ces travaux, d'une part en concevant un système de gestion de données pour les MMOGs, une classe d'application particulièrement exigeante; et, d'autre part, en concevant des mécanismes de gestion de données permettant de n'utiliser que la quantité strictement nécessaire de ressources, en redistribuant dynamiquement les données en fonction des besoins, un pas vers une gestion plus écologique des données.

National audience; PUMA est un mécanisme de cache réparti intégré au noyau Linux qui permet de mutualiser la mémoire inutilisée de machines virtuelles (MVs) pour améliorer les performances des applications intensives en entrées/sorties (E/S). Dans le design initial que nous avons proposé, la configuration de PUMA était essentiellement statique, la quantité de mémoire prêtée par un noeud était difficilement modifiable en cas de variation de charge sur l'un des noeud. Dans cet article, nous proposons plusieurs mécanismes permettant à PUMA d'ajuster dynamiquement la quantité de mémoire prêtée aux MVs en fonction des besoins. Nos évaluations, reposant sur des lectures aléatoires et des allocations de mémoire, montrent que PUMA est capable d'ajuster son activité et la quantité de mémoire prêtée à d'autres noeuds pour éviter de dégrader les performances. Comparé à une approche à de type ballooning automatique, PUMA est capable de récupérer 10 fois plus rapidement la mémoire allouée.

Distributed storage systems have to ensure data availability and durability despite the occurrence of failures. To do so, many of them rely on replication mechanisms: for each piece of data, several replicas are stored. We show that the layout of the data block copies on the nodes, chiefly the way the copies are scattered, has a major impact on the reparation speed and thus on the data loss ratio. In this paper, we propose SLPAD, an approach that provides the ability: (i) to finely tune the proportion of common content stored by the nodes; and (ii) to control the storage load distribution while creating new data block copies. We propose a simulation model that allows us to present a long-term study of the impact of the data block copies layout and the system load on the data loss ratio.; Les systèmes de stockage distribués doivent assurer la disponibilité des données et leur durabilité malgré l'occurrence de défaillances. Pour ce faire, beaucoup d'entre eux utilisent des mécanismes de réplication: pour chaque donnée, plusieurs copies sont stockées. Nous mon- trons que la disposition des copies des données sur les nœuds, surtout la façon dont elles sont dispersées, a un impact majeur sur la vitesse de réparation et donc sur le taux de perte. Dans ce papier, nous proposons SLPAD, une approche qui offre la possibilité: (i) de régler finement la proportion de contenu commun stocké par les nœuds; et (ii) de contrôler la répartition de la charge de stockage lors de la création nouvelles copies. Nous proposons un modèle de simulation qui nous permet de présenter une étude à long terme de l'impact de la disposition des copies des données et de la charge du système sur le taux de perte.

National audience; Certaines applications, comme les serveurs d'e-commerce, effectuent beaucoup d'opérations d'entrée/sortie (E/S) sur disque. Leurs performances sont étroitement liées à l'efficacité de ces opérations. Pour les améliorer, les systèmes d'exploitation tels que Linux utilisent la mémoire libre pour fournir des mécanismes de cache. Cependant, les ressources d'aujourd'hui sont virtualisées : par exemple, dans les clouds, les machines virtuelles (MVs) peuvent être déployées et déplacées entre les hôtes physiques pour offrir à la fois isolation et flexibilité. Ceci implique une fragmentation des ressources physiques, dont la mémoire. Cette fragmentation limite la quantité de mémoire disponible d'une MV pour y mettre ses données en cache. Dans cet article, nous proposons PUMA, un mécanisme de cache distant qui permet à une MV d'étendre son cache en utilisant la mémoire d'autres MVs situées sur un hôte local ou distant. Nos évaluations montrent que PUMA permet de multiplier les performances des applications par 9.

International audience; Content availability has become increasingly important for the Internet video delivery chain. To deliver videos with an outstanding availability and meet the increasing user expectations, content delivery networks (CDNs) must enforce strict QoS metrics, like bitrate and latency, through SLA contracts. Adaptive content replication has been seen as a promising way to achieve this goal. However, it remains unclear how to avoid waste of resources when strict SLA contracts must be enforced. In this work, we introduce Hermes, an adaptive replication scheme based on accurate predictions about the popularity of Internet videos. Simulations using popularity growth curves from YouTube traces suggest that our approach meets user expectations efficiently. Compared to a non- collaborative caching, Hermes reduces storage usage for replication by two orders of magnitude, and under heavy load conditions, it increases the average bitrate provision by roughly 90%. Moreover, it prevents SLA violations through an application-level deadline-aware mechanism.

National audience; Composer plusieurs infrastructures fournies en tant que service (IaaS) pour former une plate-forme virtualisée (PaaS) nécessite l'introduction d'un mécanisme de cache permettant d'offrir certaines garanties en termes de performances et de cohérence à l'utilisateur. Les caches répartis permettent d'offrir ce type de service et sont particulièrement bien adaptés aux environnements distribués, surtout lorsqu'ils offrent une faible latence réseau. Bien souvent, ces caches répartis sont associés à des systèmes de fichiers répartis ou sont implantés au niveau applicatif, nécessitant d'adapter les applications existantes, ce qui n'est pas compatible avec la philosophie du cloud. Cet article propose une approche générique pour développer un cache réparti en l'intégrant directement dans le noyau Linux, ce qui permet d'ap- porter le niveau de généricité dont les clouds ont besoin. Nous avons implémenté un prototype de cache réparti utilisant cette approche. Notre évalation des performances montre que nous pouvons multiplier par 6 le débit lors de lectures aléatoires.

National audience; L'arbitrage des jeux massivement multi-joueurs (MMOGs) repose actuellement sur des architectures centralisées, qui facilitent la détection de la triche mais empêchent les MMOGs de passer à l'échelle. La centralisation limite la taille du monde virtuel ainsi que le nombre de joueurs qui y évoluent. Nous montrons dans cet article qu'il est possible de concevoir un arbitrage pair à pair hautement efficace, même à grande échelle, aussi bien en terme de performance que de prévention de la triche. Nos simulations montrent que notre solution permet de gérer au-delà de 30000 nœuds tout en détectant plus de 99,987% des tentatives de triche sur des dizaines de millions de requêtes d'arbitrage

International audience; DHT-based P2P systems provide a fault-tolerant and scalable means to store data blocks in a fully distributed way. Unfortunately, recent studies have shown that if connection/disconnection frequency is too high, data blocks may be lost. This is true for most of the current DHT-based systems’ implementations. To deal with this problem, it is necessary to build more efficient replication and maintenance mechanisms. In this article, we study the effect of churn on PAST, an existing DHT-based P2P system. We then propose solutions to enhance churn tolerance and evaluate them through discrete event simulation.

Today's scientific applications, such as natural phenomena simulations, require high computing power and a large storage capacity. The computational grids appear as a solution to offer this power by pooling resources from different organizations. However, these architectures make programming complex: they are dynamic, heterogeneous and widely distributed. This thesis focuses on issues related to the design of a grid data sharing service. The objective is to enable transparent access to data by handling location, transfer and management of fault-tolerance and consistency. We are particularly focused on the management of consistency and persistence in dynamic environment. In this context, ensuring the persistence requires fault tolerance mechanisms. We propose an approach to jointly manage these two aspects through a software architecture that couples various consistency protocols with fault-tolerance mechanisms. We propose a hierarchical design of this architecture, adapted to the grid network topology. These contributions have been implemented in the JUXMEM grid data sharing service. Experiments conducted on the experimental grid Grid5000 show that our hierarchical approach can improve the performance of shared data access.; Les applications scientifiques d'aujourd'hui, telles les simulations de grands phénomènes naturels, requièrent une grande puissance de calcul ainsi qu'une importante capacité de stockage. Les grilles de calcul apparaissent comme une solution permettant d'atteindre cette puissance par la mise en commun de ressources de différentes organisations. Ces architectures présentent en revanche des caractéristiques rendant leur programmation complexe: elles sont dynamiques, hétérogènes, réparties à grande échelle. Cette thèse s'intéresse aux problématiques liées à la conception d'un service de partage de données pour les grilles de calcul. L'objectif est de permettre un accès transparent aux données, en automatisant la localisation, le transfert, la gestion de la persistance et de la cohérence des données partagées. Nous nous sommes plus particulièrement concentrés sur la gestion de la cohérence et de la persistance des données en environnement dynamique. Dans un tel contexte, assurer la persistance nécessite la mise en place de mécanismes de tolérance aux fautes. Nous proposons une approche pour gérer conjointement ces deux aspects via une architecture logicielle multiprotocole permettant de coupler différents protocoles de cohérence avec différents mécanismes de tolérance aux fautes. Nous proposons une conception hiérarchique de cette architecture, adaptée à la topologie réseau des grilles de calcul. Ces contributions ont été mises en oeuvre au sein du service de partage de données pour grilles JUXMEM. Les expérimentations menées sur la grille expérimentale Grid'5000 montrent que notre conception hiérarchique permet d'améliorer les performances des accès aux données partagées.

Ce papier s'intéresse au problème de la visualisation des données partagées dans les applications à base de couplage de codes sur les grilles. Nous proposons d'améliorer l'efficacité de la visualisation en intervenant sur les mécanismes de gestion des données répliquées et plus particulièrement au niveau du protocole de cohérence. La notion de lecture relâchée est alors introduite comme une extension du modèle de cohérence à l'entrée (entry consistency). Ce nouveau type d'opération peut être réalisé sans prise de verrou, en parallèle avec des écritures. En revanche, l'utilisateur \emph{relâche} les contraintes sur la fraîcheur de la donnée et accepte de lire des versions légèrement anciennes, dont le retard est néanmoins contrôlé. L'implémentation de cette approche au sein du service de partage de données pour grilles JuxMem montre des gains considérables par rapport à une implémentation classique basée sur des lectures avec prise de verrou. \\ This paper addresses the problem of efficient visualization of shared data within code coupling grid applications. These applications are structured as a set of distributed, autonomous, weakly-coupled codes. We focus on the case where the codes are able to interact using the abstraction of a shared data space. We propose an efficient visualization scheme by adapting the mechanisms used to maintain the data consistency. We introduce a new operation called relaxed read, as an extension to the entry consistency model. This operation can efficiently take place without locking, in parallel with write operations. On the other hand, the user has to relax the consistency constraints, and accept slightly older versions of the data, whose ``freshness'' can however still be controlled. This approach has been implemented within the JuxMem grid data-sharing service, and its efficiency is clearly demonstrated by our preliminary experimental results.

To appear/http://www.interscience.wiley.com; This paper addresses the challenge of transparent data sharing within computing grids built as cluster federations. On such platforms, the availability of storage resources may change in a dynamic way, often due to hardware failures. We focus on the problem of handling the consistency of replicated data in the presence of failures. We propose a software architecture which decouples consistency management from fault tolerance management. We illustrate this architecture with a case study showing how to design a consistency protocol using fault-tolerant building blocks. As a proof of concept, we describe a prototype implementation of this protocol within JuxMem, a software experimental platform for grid data sharing, and we report on a preliminary experimental evaluation of the proposed approach.

Computing grids consist of a large-scale, highly-distributed hardware architecture, often built in a hierarchical way, as cluster federations. At such scales, failures are no longer exceptions, but part of the normal behavior. When designing software for grids, developers have to take failures into account, in order to be able to provide a stable service. The fault-tolerance mechanisms need to be validated and evaluated. It is therefore crucial to make experiments at a large scale, with various volatility conditions, in order to measure the impact of failures on the whole system. This paper presents an experimental tool allowing the user to control the volatility conditions during a practical evaluation of fault-tolerant systems. The tool is based on failure-injection mechanisms. We illustrate the usefulness of our tool through an evaluation of a failure detector specifically designed for hierarchical grids. \\ Les grilles de calcul consistent en une architecture matérielle distribuée à grande échelle. Elles sont souvent organisées de manière hiérarchique, par exemple une fédération de grappes de calculateurs. A une telle échelle, les défaillances ne sont plus des exceptions, mais font partie du comportement normal du système. La conception d'un logiciel pour la grille, doit prendre en compte ces défaillances pour fournir un service stable. Les mécanismes de tolérance aux défaillances sont par nature complexes et coûteux, ils doivent donc être validés et évalués. Il est crucial de pouvoir expérimenter à grande échelle un système soumis à différents scénarii de défaillances afin d'observer et d'évaluer son comportement. Ce papier présente un outil permettant d'introduire de la volatilité au cours d'une expérimentation pour évaluer les mécanismes de tolérance aux défaillances. Nous illustrons son utilité à travers un exemple : l'évaluation d'un détecteur de défaillances conçu spécifiquement pour les grilles hiérarchiques.

National audience; Nous nous intéressons au partage de données modifiables à grande échelle dans les grilles de calcul. Une contrainte pour la mise en oeuvre d'un tel système est la gestion de la cohérence des données en environnement volatile. Dans ce travail, nous proposons une architecture qui découple les mécanismes de tolérance aux fautes de la gestion de la cohérence. Nous validons cette approche par la conception d'un protocole de cohérence hiérarchique tolérant aux fautes sur la plate-forme JuxMem, qui est un service de partage de données pour la grille. Nous présentons également une évaluation expérimentale préliminaire de ce protocole.

This paper addresses the challenge of transparent data sharing within computing grids built as cluster federations. On such platforms, the availability of storage resources may change in a dynamic way, often due to hardware failures. We focus on the problem of handling the consistency of replicated data in the presence of failures. We propose a software architecture which decouples consistency management from fault tolerance management. We illustrate this architecture with a case study showing how to design a consistency protocol using fault-tolerant building blocks. As a proof of concept, we describe a prototype implementation of this protocol within JuxMem , a software experimental platform for grid data sharing, and we report on a preliminary experimental evaluation of the proposed approach.

Also available as an INRIA Research Report 5309: http://www.inria.fr/rrrt/rr-5309.html; We address the challenge of sharing large amounts of numerical data within computing grids consisting of clusters federation. We focus on the problem of handling the consistency of replicated data in an environment where the availability of storage resources dynamically changes. We propose a software architecture which decouples consistency management from fault-tolerance management. We illustrate this architecture with a case study showing how to design a consistency protocol using fault-tolerant building blocks. As a proof of concept, we describe a prototype implementation of this protocol within JuxMem, a software experimental platform for grid data sharing, and we report on a preliminary experimental evaluation.