MulletBench: Multi-layer Edge Time Series Database Benchmark

Detalhes bibliográficos
Autor(a) principal: Pereira, Pedro Miguel de Leal Meireles
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/92713
Resumo: Dissertação de mestrado em Informatics Engineering
id RCAP_1b2a5dcdf804244720330f0a1c941375
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/92713
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling MulletBench: Multi-layer Edge Time Series Database BenchmarkBenchmarkInternet of thingsFogTime seriesDatabasesInternet das coisasEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado em Informatics EngineeringInternet of Things (IoT) systems generate massive amounts of time series data that need to be stored for historical analysis. As a result, Database Management Systems (DBMSs) for these scenarios have particular requirements in their ability to ingest large amounts of data and to optimise aggregation, filtering and time-ranged queries over this data, which are essential for historical analysis. Through the use of Fog Computing, combining both Edge and Cloud layers, it is possible to achieve reduced latency and increased scalability, privacy and connectivity through the Edge, while still benefiting from the enhanced computing and storage power of the Cloud. This has led to the development of Fog DBMSs. Database benchmarking allows standardising performance assessment and comparison of different solutions. However, current time series database benchmarking tools are not designed for multi-layer architectures, such as the ones used by Edge-Cloud hybrid DBMSs. This thesis proposes MulletBench, a benchmarking tool that is able to evaluate the internal load balancing capabilities of a multi-layer Time Series Database Management System (TSDBMS). This is achieved by integrating automated deployment features, per-node and per-layer performance and system resource metrics, allowing for a more detailed analysis of the SUTs’ performance than previously possible. The performance of InfluxDB and IoTDB is evaluated using the developed tool, comparing their performance in multiple workloads and deployment scenarios. Results show that the Edge layer can be used to improve performance by distributing the workload over multiple layers and performing downsampling at the Edge layer, increasing overall throughput and reducing latency at the Cloud. These conclusions are enabled by MulletBench’s novel features, and would not have been possible with previously existing solutions.Os Sistemas de Internet das Coisas (IdC) geram enormes quantidades de dados de séries temporais que precisam de ser armazenados para análise histórica. Consequentemente, os sistemas de gestão de bases de dados (SGBD) para estes cenários têm requisitos particulares não só para a sua capacidade de ingerir grandes quantidades de dados mas também para a sua capacidade de otimizar queries de agregação ou filtragem e em intervalos de tempo sobre estes dados, que são essenciais para análise histórica. Através do uso de computação em Fog, combinando as camadas de Edge e Cloud, é possivel conseguir latência reduzida e maior escalabilidade, privacidade e conectividade através da Edge, beneficiando simultaneamente do superior poder de computação e armazenamento da Cloud. Isto levou ao desenvolvimento de sistemas de gestão de bases de dados Fog. O Benchmarking de bases de dados permite a estandardização do método de avaliação de desempenho e a comparabilidadde de resultados de diferentes soluções. Contudo, as atuais ferramentas de benchmarking para bases de dados de séries temporais não estão desenhadas para arquiteturas multi-camada, tais como as utilizadas por SGBDs híbridos Edge-Cloud. A tese propõe o MulletBench, uma ferramenta de benchmarking capaz de avaliar as capacidades de balanceamento interno de carga de um SGBD de séries temporais multi-camada. Esta ferramenta alcança o através da integração de funcionalidades de automação de deployment e métricas de desempenho e de recursos de sistema por nó e por camada, permitindo uma análise mais detalhada do desempenho dos sistemas testados do que era previamente possível. O desempenho das bases de dados InfluxDB e IoTDB é avaliado usando a ferramenta desenvolvida, comparando o seu desempenho com multiplas cargas e em multiplos cenários. Os resultados demonstram que a camada Edge pode ser usada para melhorar o desempenho destas, através da distribuição da carga por múltiplas camadas e realização de downsampling na camada Edge, aumentando o débito total e reduzindo a latência na Cloud. Estas conclusões são possíveis graças às funcionalidades inovadoras do MulletBench, e não seriam possíveis com soluções existentes anteriormente.Finally, I would like to thank INESC TEC that co-funded this work through Component 5 - Capitalization and Business Innovation, integrated in the Resilience Dimension of the Recovery and Resilience Plan within the scope of the Recovery and Resilience Mechanism (MRR) of the European Union (EU), framed in the Next Generation EU, for the period 2021 - 2026, within project ATE, with reference 56 (10113/BII-E_B4/2023).Coelho, Fábio André Castanheira LuísPaulo, João Tiago MedeirosFerreira, Luís Manuel MerujeUniversidade do MinhoPereira, Pedro Miguel de Leal Meireles2023-12-132023-12-13T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/92713eng203617380info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-08-03T01:26:36Zoai:repositorium.sdum.uminho.pt:1822/92713Portal AgregadorONGhttps://www.rcaap.pt/oai/openairemluisa.alvim@gmail.comopendoar:71602024-08-03T01:26:36Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv MulletBench: Multi-layer Edge Time Series Database Benchmark
title MulletBench: Multi-layer Edge Time Series Database Benchmark
spellingShingle MulletBench: Multi-layer Edge Time Series Database Benchmark
Pereira, Pedro Miguel de Leal Meireles
Benchmark
Internet of things
Fog
Time series
Databases
Internet das coisas
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short MulletBench: Multi-layer Edge Time Series Database Benchmark
title_full MulletBench: Multi-layer Edge Time Series Database Benchmark
title_fullStr MulletBench: Multi-layer Edge Time Series Database Benchmark
title_full_unstemmed MulletBench: Multi-layer Edge Time Series Database Benchmark
title_sort MulletBench: Multi-layer Edge Time Series Database Benchmark
author Pereira, Pedro Miguel de Leal Meireles
author_facet Pereira, Pedro Miguel de Leal Meireles
author_role author
dc.contributor.none.fl_str_mv Coelho, Fábio André Castanheira Luís
Paulo, João Tiago Medeiros
Ferreira, Luís Manuel Meruje
Universidade do Minho
dc.contributor.author.fl_str_mv Pereira, Pedro Miguel de Leal Meireles
dc.subject.por.fl_str_mv Benchmark
Internet of things
Fog
Time series
Databases
Internet das coisas
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Benchmark
Internet of things
Fog
Time series
Databases
Internet das coisas
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado em Informatics Engineering
publishDate 2023
dc.date.none.fl_str_mv 2023-12-13
2023-12-13T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/92713
url https://hdl.handle.net/1822/92713
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203617380
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv mluisa.alvim@gmail.com
_version_ 1817546680192466944

Registros relacionados