Topology and energy aware virtual machine scheduling algorithms in data centers

Orientador: Edmundo Roberto Mauro Madeira Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O crescente consumo de energia e a poluição gerada para alimentarem a infraestrutura da computação em nuvem, impulsionados pela proliferação de dispositivos com baixo poder de processamento e a crescente necessidade de computação elástica, têm sido uma constante preocupação, refletida em numerosas abordagens no contexto da computação verde para lidar com este problema. Além disso, percebemos que o principal padrão escolhido para a conectividade dos data centers que operam em nuvem, Ethernet, tem apresentado rápido aumento das taxas de transmissão, bem como a expectativa de continuidade deste. Neste trabalho efetuamos estudos acerca dos impactos do aumento das taxas de transmissão no processo de escalonamento de máquinas virtuais, focando, em especial, no consumo de energia, no makespan, nos tempos de execução de cargas de trabalho e no número de migrações de máquinas virtuais em data centers que operam em nuvens, no contexto da ciência de energia. Desenvolvemos, também, um modelo empírico para estimar o consumo de energia em função da largura de banda para um conjunto de cenários. Expandimos nossos estudos e apresentamos o BALA, um algoritmo de escalonamento de máquinas virtuais ciente de energia e de largura de banda, com especial aproveitamento em data centers com agrupamentos de servidores que apresentam heterogeneidade em largura de banda. Finalmente, apresentamos o TEA, um algoritmo de escalonamento de máquinas virtuais ciente de energia e de topologia de rede, que considera não somente os elementos de borda, mas também o núcleo da rede, sendo um algoritmo escalável capaz de atuar em uma diversidade de cenários, incluindo, mas não se limitando, a nuvens constituídas de data centers geodistribuídos ou não, com topologias de rede arbitrárias, que admitem ou não a migração de máquinas virtuais, homogêneos ou heterogêneos tanto em servidores quanto no núcleo da rede, podendo suportar SLA com garantia de processamento para máquinas virtuais e dar preferência às máquinas virtuais de prioridades elevadas. Para atingir nossos objetivos, utilizamos em ambos algoritmos técnicas como o desligamento de servidores ociosos, DVFS e a migração de máquinas virtuais. Em adição, no TEA, também empregamos um conceito de maximização de eficiência em energia de rotas e o desligamento de comutadores de pacotes ociosos. Resultados obtidos por simulação em um extenso número de cenários mostram que este algoritmo, confrontado a diversos outros algoritmos cientes de energia, apresenta os melhores resultados em economia de energia em aproximadamente metade dos casos, e o melhor makespan na maior parte dos casos. Os ganhos observados são notáveis em data centers geodistribuídos, heterogêneos e com topologias constituídas por um número grande de comutadores de pacotes Abstract: The increasing energy consumption and the pollution generated to power the infrastructure of the cloud computing, driven by the proliferation of devices with low processing power and the increasing need for elastic computing, have been a constant concern, reflected in numerous approaches in the context of green computing to deal with this problem. In addition, we realize that the connectivity leading choice for data centers that operates in the cloud, Ethernet, has shown rapid increase in transmission rates, as well as the expectation of continuity of this growth. In this work, we study the impacts of the increase of transmission rates in the virtual machine scheduling process, focusing in particular on power consumption, makespan, workload execution times, and the number of machine migrations in data centers that operate in clouds in the context of energy awareness. We have also developed an empirical model to estimate energy consumption as a function of bandwidth for a set of scenarios. We have expanded our studies and presented the BALA, an energy-aware and bandwidth-aware scheduling algorithm, with special use in data centers with server groups having heterogeneity in bandwidth. Finally, we present the TEA, a virtual scheduling algorithm aware of energy and network topology, which considers not only the edge elements, but also the network core, being a scalable algorithm capable of acting in a diversity of scenarios, including, but not limited to, clouds made up of geo-distributed or non geo-distributed data centers with arbitrary network topologies that allow or disallow the migration of virtual machines, homogeneous or heterogeneous servers and network core devices, and supporting SLA with guaranteed processing for virtual machines and giving preference for high priority virtual machines. To achieve our goals, we use in both algorithms techniques such as shutdown of idle servers, DVFS, and migration of virtual machines. In addition, in TEA, we also employ a concept of maximizing energy efficiency in routes and shutting down idle switches. Results obtained by simulation in an extensive number of scenarios show that this algorithm, compared to several other energy-aware algorithms, presents the best results in energy savings in approximately half of the cases, and the best makespan in most cases. The observed gains are notable in geo-distributed data centers, with topologies consisting of a large number of switches, and in heterogeneity cases Doutorado Ciência da Computação Doutor em Ciência da Computação CAPES CNPQ 167384/2014-7 FAPESP