Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo

Detalhes bibliográficos
Autor(a) principal: Certo, Ricardo Jorge Barroso
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/81326
Resumo: Dissertação de mestrado integrado em Informatics Engineering
id RCAP_a4068915b69e1a8567caec648d196620
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/81326
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudoUsing sketching algorithms in data streams analysis: a case studyAnálise de streams de dadosAlgoritmos de sketchingProcessamento de dadosSketching de dadosData processingData sketchingData streams analysisSketching algorithmsEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Informatics EngineeringHoje é vulgar encontrarmos inúmeras aplicações que envolvem nos seus serviços tarefas de processamento e análise de streams de dados. Estas tarefas não são de fácil implementação nem de execução, pelo menos em situações nas quais pretendemos fazer a análise do conteúdo de uma stream no tempo próximo do tempo real. Um dos principais problemas que enfrentamos na realização dessas tarefas é saber como identificar um ou mais elementos de dados que possam estar a circular na stream em tempo útil. A rapidez com que os dados são transportados por uma stream é enorme o que complica imenso o seu processo de análise, dificultando, obviamente, a identificação dos elementos de dados que se pretendem analisar. Uma das técnicas que podem ser utilizadas para implementar a análise de streams de dados é o sketching, que nos fornece mecanismos muito interessantes para descobrir padrões de dados de forma bastante expedita. Isso é possível, porque o sketching permite armazenar pequenos elementos de informação sobre os dados que circula numa stream, usando para isso uma combinação de técnicas de hashing, de contagem e de filtragem, mantendo um bom equilíbrio entre o uso de memória e a precisão da identificação dos elementos de dados em análise. Nesta dissertação estudámos e analisámos um conjunto de algoritmos de sketching, com o objetivo de verificar a forma como cada um deles atua no processamento e análise de streams de dados em tempo muito próximo do real. Para isso, desenvolvemos um sistema específico capaz de fazer a identificação de eventuais pontos de estrangulamento de uma rede de distribuição de água, aplicando cada um dos diferentes algoritmos que estudámos. O sistema desenvolvido permitiu correlacionar os diferentes parâmetros que podem influenciar o funcionamento de uma rede de distribuição de água, que utilizámos como caso de estudo, e, consequentemente, avaliar o desempenho de cada um dos algoritmos aplicados.Nowadays it is usual to find several applications that engage, in its services, processing tasks and data stream analysis. In this context, given certain situations, for example, when the purpose is to analyse the content of a stream in time near the real time, these tasks are neither easy to implement nor to execute. One of the biggest problems faced during the implementation of these tasks is to understand how to identify one or more data elements that may be circulating in the stream in useful time. Moreover, the quickness of the data transportation throughout a stream is huge and this stunts its analysis process, making the identification of the data elements intended to be analysed more difficult. Therefore, one of the techniques that can be applied to implement the data stream analysis is the sketching that provides interesting mechanisms used to find data patterns in a very spontaneous way. Obviously, this is possible hence the sketching allows to store small elements of information about the data that circulates in a stream through a combination techniques of hashing, counting and filtration, while keeping a good balance between the memory use and the precision about the identification of the elements in the data in analysis. Throughout this dissertation it was studied and analysed a range of sketching algorithms with the aim to verify the way as each of them proceed in the processing and analysis of data stream in a time very near the real time. To do that, it was developed a specified system capable to do the identification of possible strangulation points in a water distribution grid applying each one of the algorithms that were studied. The developed system allowed to correlate the different parameters that can disturb the normal function of a water distribution grid, the case used as the study case, and, consequently, evaluate the performance of each one of the applied logarithms.Belo, OrlandoUniversidade do MinhoCerto, Ricardo Jorge Barroso20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/81326por203056094info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:54:27Zoai:repositorium.sdum.uminho.pt:1822/81326Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:54:01.466664Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
Using sketching algorithms in data streams analysis: a case study
title Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
spellingShingle Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
Certo, Ricardo Jorge Barroso
Análise de streams de dados
Algoritmos de sketching
Processamento de dados
Sketching de dados
Data processing
Data sketching
Data streams analysis
Sketching algorithms
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
title_full Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
title_fullStr Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
title_full_unstemmed Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
title_sort Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
author Certo, Ricardo Jorge Barroso
author_facet Certo, Ricardo Jorge Barroso
author_role author
dc.contributor.none.fl_str_mv Belo, Orlando
Universidade do Minho
dc.contributor.author.fl_str_mv Certo, Ricardo Jorge Barroso
dc.subject.por.fl_str_mv Análise de streams de dados
Algoritmos de sketching
Processamento de dados
Sketching de dados
Data processing
Data sketching
Data streams analysis
Sketching algorithms
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Análise de streams de dados
Algoritmos de sketching
Processamento de dados
Sketching de dados
Data processing
Data sketching
Data streams analysis
Sketching algorithms
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Informatics Engineering
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/81326
url https://hdl.handle.net/1822/81326
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 203056094
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133137961222144

Registros relacionados