Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | https://hdl.handle.net/1822/81326 |
Resumo: | Dissertação de mestrado integrado em Informatics Engineering |
id |
RCAP_a4068915b69e1a8567caec648d196620 |
---|---|
oai_identifier_str |
oai:repositorium.sdum.uminho.pt:1822/81326 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudoUsing sketching algorithms in data streams analysis: a case studyAnálise de streams de dadosAlgoritmos de sketchingProcessamento de dadosSketching de dadosData processingData sketchingData streams analysisSketching algorithmsEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Informatics EngineeringHoje é vulgar encontrarmos inúmeras aplicações que envolvem nos seus serviços tarefas de processamento e análise de streams de dados. Estas tarefas não são de fácil implementação nem de execução, pelo menos em situações nas quais pretendemos fazer a análise do conteúdo de uma stream no tempo próximo do tempo real. Um dos principais problemas que enfrentamos na realização dessas tarefas é saber como identificar um ou mais elementos de dados que possam estar a circular na stream em tempo útil. A rapidez com que os dados são transportados por uma stream é enorme o que complica imenso o seu processo de análise, dificultando, obviamente, a identificação dos elementos de dados que se pretendem analisar. Uma das técnicas que podem ser utilizadas para implementar a análise de streams de dados é o sketching, que nos fornece mecanismos muito interessantes para descobrir padrões de dados de forma bastante expedita. Isso é possível, porque o sketching permite armazenar pequenos elementos de informação sobre os dados que circula numa stream, usando para isso uma combinação de técnicas de hashing, de contagem e de filtragem, mantendo um bom equilíbrio entre o uso de memória e a precisão da identificação dos elementos de dados em análise. Nesta dissertação estudámos e analisámos um conjunto de algoritmos de sketching, com o objetivo de verificar a forma como cada um deles atua no processamento e análise de streams de dados em tempo muito próximo do real. Para isso, desenvolvemos um sistema específico capaz de fazer a identificação de eventuais pontos de estrangulamento de uma rede de distribuição de água, aplicando cada um dos diferentes algoritmos que estudámos. O sistema desenvolvido permitiu correlacionar os diferentes parâmetros que podem influenciar o funcionamento de uma rede de distribuição de água, que utilizámos como caso de estudo, e, consequentemente, avaliar o desempenho de cada um dos algoritmos aplicados.Nowadays it is usual to find several applications that engage, in its services, processing tasks and data stream analysis. In this context, given certain situations, for example, when the purpose is to analyse the content of a stream in time near the real time, these tasks are neither easy to implement nor to execute. One of the biggest problems faced during the implementation of these tasks is to understand how to identify one or more data elements that may be circulating in the stream in useful time. Moreover, the quickness of the data transportation throughout a stream is huge and this stunts its analysis process, making the identification of the data elements intended to be analysed more difficult. Therefore, one of the techniques that can be applied to implement the data stream analysis is the sketching that provides interesting mechanisms used to find data patterns in a very spontaneous way. Obviously, this is possible hence the sketching allows to store small elements of information about the data that circulates in a stream through a combination techniques of hashing, counting and filtration, while keeping a good balance between the memory use and the precision about the identification of the elements in the data in analysis. Throughout this dissertation it was studied and analysed a range of sketching algorithms with the aim to verify the way as each of them proceed in the processing and analysis of data stream in a time very near the real time. To do that, it was developed a specified system capable to do the identification of possible strangulation points in a water distribution grid applying each one of the algorithms that were studied. The developed system allowed to correlate the different parameters that can disturb the normal function of a water distribution grid, the case used as the study case, and, consequently, evaluate the performance of each one of the applied logarithms.Belo, OrlandoUniversidade do MinhoCerto, Ricardo Jorge Barroso20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/81326por203056094info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:54:27Zoai:repositorium.sdum.uminho.pt:1822/81326Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:54:01.466664Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo Using sketching algorithms in data streams analysis: a case study |
title |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
spellingShingle |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo Certo, Ricardo Jorge Barroso Análise de streams de dados Algoritmos de sketching Processamento de dados Sketching de dados Data processing Data sketching Data streams analysis Sketching algorithms Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
title_short |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
title_full |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
title_fullStr |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
title_full_unstemmed |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
title_sort |
Utilização de algoritmos de sketching na análise de streams de dados: um caso de estudo |
author |
Certo, Ricardo Jorge Barroso |
author_facet |
Certo, Ricardo Jorge Barroso |
author_role |
author |
dc.contributor.none.fl_str_mv |
Belo, Orlando Universidade do Minho |
dc.contributor.author.fl_str_mv |
Certo, Ricardo Jorge Barroso |
dc.subject.por.fl_str_mv |
Análise de streams de dados Algoritmos de sketching Processamento de dados Sketching de dados Data processing Data sketching Data streams analysis Sketching algorithms Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
topic |
Análise de streams de dados Algoritmos de sketching Processamento de dados Sketching de dados Data processing Data sketching Data streams analysis Sketching algorithms Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
description |
Dissertação de mestrado integrado em Informatics Engineering |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021 2021-01-01T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://hdl.handle.net/1822/81326 |
url |
https://hdl.handle.net/1822/81326 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
203056094 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799133137961222144 |