Distributed near real-time processing of sensor network data flows for smart grids

Detalhes bibliográficos
Autor(a) principal: Carvalho, Otávio Moraes de
Data de Publicação: 2015
Tipo de documento: Trabalho de conclusão de curso
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/138253
Resumo: Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.
id UFRGS-2_ee58594b38bfa852b41851d85bf5ae42
oai_identifier_str oai:www.lume.ufrgs.br:10183/138253
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Carvalho, Otávio Moraes deNavaux, Philippe Olivier AlexandreRoloff, Eduardo2016-04-14T02:07:39Z2015http://hdl.handle.net/10183/138253000988876Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.Sensor networks have become ubiquitous, ranging from personal mobile phones to smart grids, and are producing each time higher amounts of data, in ever shorter time intervals. Distributed event stream processing systems, in its turn, are systems that help us to parallelize not only the processing, but also the input of multiple data streams into a single processing engine, providing us capabilities to produce near real-time insights based on multiple data streams, as well as make decisions more quickly. Joining together these ideas, in this work, we propose an architecture based on open source tools that represent the state-of-the-art in distributed event stream processing systems. In this manner, we aim to provide a platform for processing large scale sensor network data, focused on data profiles of smart grids. To evaluate the feasibility of a system of this kind, we use a dataset based on a sensor network for smart energy consumption meters, in order to generate load forecasts based on this dataset. In the end, we evaluate the proposed architecture regarding to processing scale and latency issues. Achieving the conclusions that it is possible to build a distributed processing platform, for processing of sensor network data flows coming from smart grids, as it was designed on this work. The platform is able to process up to approximately 45K messages per second using 8 processing nodes, while providing stable latencies for micro-batches above 30 seconds.application/pdfengProcessamento distribuídoComputação em nuvemEvent stream processingDistributed processingSensor networksSmart gridsInternet of thingsCloud computingDistributed near real-time processing of sensor network data flows for smart gridsProcessamento distribuído em quase tempo real de fluxos de dados de redes de sensores para redes inteligentes de energia info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2015Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000988876.pdf000988876.pdfTexto completo (inglês)application/pdf1197314http://www.lume.ufrgs.br/bitstream/10183/138253/1/000988876.pdf7ef50bd9fbbe97c5bb1389f6aa8fa29bMD51TEXT000988876.pdf.txt000988876.pdf.txtExtracted Texttext/plain118686http://www.lume.ufrgs.br/bitstream/10183/138253/2/000988876.pdf.txt0cc88b3c3ca85b9e49645f8145974bc5MD52THUMBNAIL000988876.pdf.jpg000988876.pdf.jpgGenerated Thumbnailimage/jpeg1094http://www.lume.ufrgs.br/bitstream/10183/138253/3/000988876.pdf.jpgbe5a257d8e343f57e5913164e73f02a8MD5310183/1382532022-02-22 05:17:02.118238oai:www.lume.ufrgs.br:10183/138253Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2022-02-22T08:17:02Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Distributed near real-time processing of sensor network data flows for smart grids
dc.title.alternative.pt.fl_str_mv Processamento distribuído em quase tempo real de fluxos de dados de redes de sensores para redes inteligentes de energia
title Distributed near real-time processing of sensor network data flows for smart grids
spellingShingle Distributed near real-time processing of sensor network data flows for smart grids
Carvalho, Otávio Moraes de
Processamento distribuído
Computação em nuvem
Event stream processing
Distributed processing
Sensor networks
Smart grids
Internet of things
Cloud computing
title_short Distributed near real-time processing of sensor network data flows for smart grids
title_full Distributed near real-time processing of sensor network data flows for smart grids
title_fullStr Distributed near real-time processing of sensor network data flows for smart grids
title_full_unstemmed Distributed near real-time processing of sensor network data flows for smart grids
title_sort Distributed near real-time processing of sensor network data flows for smart grids
author Carvalho, Otávio Moraes de
author_facet Carvalho, Otávio Moraes de
author_role author
dc.contributor.author.fl_str_mv Carvalho, Otávio Moraes de
dc.contributor.advisor1.fl_str_mv Navaux, Philippe Olivier Alexandre
dc.contributor.advisor-co1.fl_str_mv Roloff, Eduardo
contributor_str_mv Navaux, Philippe Olivier Alexandre
Roloff, Eduardo
dc.subject.por.fl_str_mv Processamento distribuído
Computação em nuvem
topic Processamento distribuído
Computação em nuvem
Event stream processing
Distributed processing
Sensor networks
Smart grids
Internet of things
Cloud computing
dc.subject.eng.fl_str_mv Event stream processing
Distributed processing
Sensor networks
Smart grids
Internet of things
Cloud computing
description Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.
publishDate 2015
dc.date.issued.fl_str_mv 2015
dc.date.accessioned.fl_str_mv 2016-04-14T02:07:39Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/138253
dc.identifier.nrb.pt_BR.fl_str_mv 000988876
url http://hdl.handle.net/10183/138253
identifier_str_mv 000988876
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/138253/1/000988876.pdf
http://www.lume.ufrgs.br/bitstream/10183/138253/2/000988876.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/138253/3/000988876.pdf.jpg
bitstream.checksum.fl_str_mv 7ef50bd9fbbe97c5bb1389f6aa8fa29b
0cc88b3c3ca85b9e49645f8145974bc5
be5a257d8e343f57e5913164e73f02a8
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224505118425088