Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais

Detalhes bibliográficos
Autor(a) principal: Rodrigues, Mafalda da Mota
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10773/26169
Resumo: A evolução e o aparecimento de novas tecnologias na área das telecomunicaçoes levou as operadoras de rede a interessarem-se por novas formas de extrair conhecimento a partir dos dados que recolhem continuadamente. A Nokia utiliza um sistema de gestão de performance de redes (NPM) para monitorizar e analisar o desempenho das redes das operadoras de telecomunicações. O NPM é um sistema que permite processar, normalizar e integrar dados provenientes de numerosos equipamentos de rede que são disponibilizados sob a forma de relatórios. Sabendo que o volume de dados a tratar é grande e que tende a aumentar rapidamente, surge a necessidade de procurar novas soluções de escalabilidade que permitam adaptar a capacidade de processamento do NPM aos volumes de dados recolhidos. Nesse sentido, esta dissertação proposta em parceria com a Nokia, tem como objetivo explorar e comparar diversas tecnologias de bases de dados orientadas ás séries temporais (TSDB), para selecionar uma solução que possa ser integrada no NPM. A seleção foi feita com base nas caracteristicas das tecnologias e nos requisitos definidos pela Nokia, tendo sido selecionado o Apache Kudu. Foi implementado um ambiente de testes e foram realizados testes de desempenho para definir a arquitetura do sistema, e selecionar os métodos de particionamento e de compressão de dados a usar na Nokia. A seguir, foram gerados dados para simular o ambiente típico de funcionamento do NPM e avaliar o desempenho da solução proposta nesta dissertação. Os testes finais englobam os processos de geração de relatórios de rede, inserção de dados e cálculo de agregações executados concorrentemente. Por fim, foram realizados testes para comparar o desempenho do Apache Presto e do Apache Impala na comunicação com o Apache Kudu. Estas ferramentas permitem aceder ao Apache Kudu usando a linguagem SQL e conclui-se que o primeiro tem melhores tempos de resposta, porém o desempenho diminui quando as consultas têm 3 ou mais joins. Globalmente, os resultados mostram que o desempenho do Apache Kudu é uma solução viável em termos de desempenho, mas ainda existem problemas ao nível da documentação e da configuração do sistema que permitam garantir a fiabilidade desejada pela Nokia.
id RCAP_a07ab776f281bb3b34dd717985ac2be1
oai_identifier_str oai:ria.ua.pt:10773/26169
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporaisBase de dados orientadas ás séries temporaisNokia Performance ManagerPerformance de redes de telecomunicaçõesA evolução e o aparecimento de novas tecnologias na área das telecomunicaçoes levou as operadoras de rede a interessarem-se por novas formas de extrair conhecimento a partir dos dados que recolhem continuadamente. A Nokia utiliza um sistema de gestão de performance de redes (NPM) para monitorizar e analisar o desempenho das redes das operadoras de telecomunicações. O NPM é um sistema que permite processar, normalizar e integrar dados provenientes de numerosos equipamentos de rede que são disponibilizados sob a forma de relatórios. Sabendo que o volume de dados a tratar é grande e que tende a aumentar rapidamente, surge a necessidade de procurar novas soluções de escalabilidade que permitam adaptar a capacidade de processamento do NPM aos volumes de dados recolhidos. Nesse sentido, esta dissertação proposta em parceria com a Nokia, tem como objetivo explorar e comparar diversas tecnologias de bases de dados orientadas ás séries temporais (TSDB), para selecionar uma solução que possa ser integrada no NPM. A seleção foi feita com base nas caracteristicas das tecnologias e nos requisitos definidos pela Nokia, tendo sido selecionado o Apache Kudu. Foi implementado um ambiente de testes e foram realizados testes de desempenho para definir a arquitetura do sistema, e selecionar os métodos de particionamento e de compressão de dados a usar na Nokia. A seguir, foram gerados dados para simular o ambiente típico de funcionamento do NPM e avaliar o desempenho da solução proposta nesta dissertação. Os testes finais englobam os processos de geração de relatórios de rede, inserção de dados e cálculo de agregações executados concorrentemente. Por fim, foram realizados testes para comparar o desempenho do Apache Presto e do Apache Impala na comunicação com o Apache Kudu. Estas ferramentas permitem aceder ao Apache Kudu usando a linguagem SQL e conclui-se que o primeiro tem melhores tempos de resposta, porém o desempenho diminui quando as consultas têm 3 ou mais joins. Globalmente, os resultados mostram que o desempenho do Apache Kudu é uma solução viável em termos de desempenho, mas ainda existem problemas ao nível da documentação e da configuração do sistema que permitam garantir a fiabilidade desejada pela Nokia.The evolution and the emergence of new technologies in the area of telecommunication allowed network operators to become interested in new ways of extracting knowledge from the large volumes of data that they are able to collect. Nokia uses the network performance and telecommunication management system (NPM) to analyze network performance as well as the help of its monitoring. NPM allows you to generate network reports according to time periods. This dissertation is a joint proposal with the Nokia and aims to explore, analyze, compare and select a solution directed to the eficcient storage and management of time series data, using time series databases (TSDB) so that it is integrated into the NPM. For this reason, a test environment was implemented to simulate the NPM workload and evaluate the selected solution, Apache Kudu. The results obtained allow us to conclude that Apache Kudu demonstrates that the best partitioning method is Combined (Hash plus Range), and Snappy is the best method of data compression. The main test encompasses the generation of network reports, data insertion, and the computation of aggregations simultaneously. Finally, equating communication to Apache Kudu between Apache Presto and Apache Impala, it is concluded that the first one has better response times, but performance decreases when queries include 3 or more joins.2021-01-10T00:00:00Z2018-12-19T00:00:00Z2018-12-19info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10773/26169TID:202232565porRodrigues, Mafalda da Motainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-22T11:50:41Zoai:ria.ua.pt:10773/26169Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T02:59:13.967928Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
title Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
spellingShingle Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
Rodrigues, Mafalda da Mota
Base de dados orientadas ás séries temporais
Nokia Performance Manager
Performance de redes de telecomunicações
title_short Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
title_full Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
title_fullStr Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
title_full_unstemmed Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
title_sort Análise de performance de redes de telecomunicações, utilizando bases de dados orientadas às séries temporais
author Rodrigues, Mafalda da Mota
author_facet Rodrigues, Mafalda da Mota
author_role author
dc.contributor.author.fl_str_mv Rodrigues, Mafalda da Mota
dc.subject.por.fl_str_mv Base de dados orientadas ás séries temporais
Nokia Performance Manager
Performance de redes de telecomunicações
topic Base de dados orientadas ás séries temporais
Nokia Performance Manager
Performance de redes de telecomunicações
description A evolução e o aparecimento de novas tecnologias na área das telecomunicaçoes levou as operadoras de rede a interessarem-se por novas formas de extrair conhecimento a partir dos dados que recolhem continuadamente. A Nokia utiliza um sistema de gestão de performance de redes (NPM) para monitorizar e analisar o desempenho das redes das operadoras de telecomunicações. O NPM é um sistema que permite processar, normalizar e integrar dados provenientes de numerosos equipamentos de rede que são disponibilizados sob a forma de relatórios. Sabendo que o volume de dados a tratar é grande e que tende a aumentar rapidamente, surge a necessidade de procurar novas soluções de escalabilidade que permitam adaptar a capacidade de processamento do NPM aos volumes de dados recolhidos. Nesse sentido, esta dissertação proposta em parceria com a Nokia, tem como objetivo explorar e comparar diversas tecnologias de bases de dados orientadas ás séries temporais (TSDB), para selecionar uma solução que possa ser integrada no NPM. A seleção foi feita com base nas caracteristicas das tecnologias e nos requisitos definidos pela Nokia, tendo sido selecionado o Apache Kudu. Foi implementado um ambiente de testes e foram realizados testes de desempenho para definir a arquitetura do sistema, e selecionar os métodos de particionamento e de compressão de dados a usar na Nokia. A seguir, foram gerados dados para simular o ambiente típico de funcionamento do NPM e avaliar o desempenho da solução proposta nesta dissertação. Os testes finais englobam os processos de geração de relatórios de rede, inserção de dados e cálculo de agregações executados concorrentemente. Por fim, foram realizados testes para comparar o desempenho do Apache Presto e do Apache Impala na comunicação com o Apache Kudu. Estas ferramentas permitem aceder ao Apache Kudu usando a linguagem SQL e conclui-se que o primeiro tem melhores tempos de resposta, porém o desempenho diminui quando as consultas têm 3 ou mais joins. Globalmente, os resultados mostram que o desempenho do Apache Kudu é uma solução viável em termos de desempenho, mas ainda existem problemas ao nível da documentação e da configuração do sistema que permitam garantir a fiabilidade desejada pela Nokia.
publishDate 2018
dc.date.none.fl_str_mv 2018-12-19T00:00:00Z
2018-12-19
2021-01-10T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10773/26169
TID:202232565
url http://hdl.handle.net/10773/26169
identifier_str_mv TID:202232565
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137646564343808