Performance analysis of telecommunications networks, using time series databases

A evolução e o aparecimento de novas tecnologias na área das telecomunicaçoes levou as operadoras de rede a interessarem-se por novas formas de extrair conhecimento a partir dos dados que recolhem continuadamente. A Nokia utiliza um sistema de gestão de performance de redes (NPM) para monitorizar e analisar o desempenho das redes das operadoras de telecomunicações. O NPM é um sistema que permite processar, normalizar e integrar dados provenientes de numerosos equipamentos de rede que são disponibilizados sob a forma de relatórios. Sabendo que o volume de dados a tratar é grande e que tende a aumentar rapidamente, surge a necessidade de procurar novas soluções de escalabilidade que permitam adaptar a capacidade de processamento do NPM aos volumes de dados recolhidos. Nesse sentido, esta dissertação proposta em parceria com a Nokia, tem como objetivo explorar e comparar diversas tecnologias de bases de dados orientadas ás séries temporais (TSDB), para selecionar uma solução que possa ser integrada no NPM. A seleção foi feita com base nas caracteristicas das tecnologias e nos requisitos definidos pela Nokia, tendo sido selecionado o Apache Kudu. Foi implementado um ambiente de testes e foram realizados testes de desempenho para definir a arquitetura do sistema, e selecionar os métodos de particionamento e de compressão de dados a usar na Nokia. A seguir, foram gerados dados para simular o ambiente típico de funcionamento do NPM e avaliar o desempenho da solução proposta nesta dissertação. Os testes finais englobam os processos de geração de relatórios de rede, inserção de dados e cálculo de agregações executados concorrentemente. Por fim, foram realizados testes para comparar o desempenho do Apache Presto e do Apache Impala na comunicação com o Apache Kudu. Estas ferramentas permitem aceder ao Apache Kudu usando a linguagem SQL e conclui-se que o primeiro tem melhores tempos de resposta, porém o desempenho diminui quando as consultas têm 3 ou mais joins. Globalmente, os resultados mostram que o desempenho do Apache Kudu é uma solução viável em termos de desempenho, mas ainda existem problemas ao nível da documentação e da configuração do sistema que permitam garantir a fiabilidade desejada pela Nokia. The evolution and the emergence of new technologies in the area of telecommunication allowed network operators to become interested in new ways of extracting knowledge from the large volumes of data that they are able to collect. Nokia uses the network performance and telecommunication management system (NPM) to analyze network performance as well as the help of its monitoring. NPM allows you to generate network reports according to time periods. This dissertation is a joint proposal with the Nokia and aims to explore, analyze, compare and select a solution directed to the eficcient storage and management of time series data, using time series databases (TSDB) so that it is integrated into the NPM. For this reason, a test environment was implemented to simulate the NPM workload and evaluate the selected solution, Apache Kudu. The results obtained allow us to conclude that Apache Kudu demonstrates that the best partitioning method is Combined (Hash plus Range), and Snappy is the best method of data compression. The main test encompasses the generation of network reports, data insertion, and the computation of aggregations simultaneously. Finally, equating communication to Apache Kudu between Apache Presto and Apache Impala, it is concluded that the first one has better response times, but performance decreases when queries include 3 or more joins. Mestrado em Engenharia Informática