Distributed near real-time processing of sensor network data flows for smart grids
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/138253 |
Resumo: | Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos. |
id |
UFRGS-2_ee58594b38bfa852b41851d85bf5ae42 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/138253 |
network_acronym_str |
UFRGS-2 |
network_name_str |
Repositório Institucional da UFRGS |
repository_id_str |
|
spelling |
Carvalho, Otávio Moraes deNavaux, Philippe Olivier AlexandreRoloff, Eduardo2016-04-14T02:07:39Z2015http://hdl.handle.net/10183/138253000988876Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.Sensor networks have become ubiquitous, ranging from personal mobile phones to smart grids, and are producing each time higher amounts of data, in ever shorter time intervals. Distributed event stream processing systems, in its turn, are systems that help us to parallelize not only the processing, but also the input of multiple data streams into a single processing engine, providing us capabilities to produce near real-time insights based on multiple data streams, as well as make decisions more quickly. Joining together these ideas, in this work, we propose an architecture based on open source tools that represent the state-of-the-art in distributed event stream processing systems. In this manner, we aim to provide a platform for processing large scale sensor network data, focused on data profiles of smart grids. To evaluate the feasibility of a system of this kind, we use a dataset based on a sensor network for smart energy consumption meters, in order to generate load forecasts based on this dataset. In the end, we evaluate the proposed architecture regarding to processing scale and latency issues. Achieving the conclusions that it is possible to build a distributed processing platform, for processing of sensor network data flows coming from smart grids, as it was designed on this work. The platform is able to process up to approximately 45K messages per second using 8 processing nodes, while providing stable latencies for micro-batches above 30 seconds.application/pdfengProcessamento distribuídoComputação em nuvemEvent stream processingDistributed processingSensor networksSmart gridsInternet of thingsCloud computingDistributed near real-time processing of sensor network data flows for smart gridsProcessamento distribuído em quase tempo real de fluxos de dados de redes de sensores para redes inteligentes de energia info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2015Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000988876.pdf000988876.pdfTexto completo (inglês)application/pdf1197314http://www.lume.ufrgs.br/bitstream/10183/138253/1/000988876.pdf7ef50bd9fbbe97c5bb1389f6aa8fa29bMD51TEXT000988876.pdf.txt000988876.pdf.txtExtracted Texttext/plain118686http://www.lume.ufrgs.br/bitstream/10183/138253/2/000988876.pdf.txt0cc88b3c3ca85b9e49645f8145974bc5MD52THUMBNAIL000988876.pdf.jpg000988876.pdf.jpgGenerated Thumbnailimage/jpeg1094http://www.lume.ufrgs.br/bitstream/10183/138253/3/000988876.pdf.jpgbe5a257d8e343f57e5913164e73f02a8MD5310183/1382532022-02-22 05:17:02.118238oai:www.lume.ufrgs.br:10183/138253Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2022-02-22T08:17:02Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
Distributed near real-time processing of sensor network data flows for smart grids |
dc.title.alternative.pt.fl_str_mv |
Processamento distribuído em quase tempo real de fluxos de dados de redes de sensores para redes inteligentes de energia |
title |
Distributed near real-time processing of sensor network data flows for smart grids |
spellingShingle |
Distributed near real-time processing of sensor network data flows for smart grids Carvalho, Otávio Moraes de Processamento distribuído Computação em nuvem Event stream processing Distributed processing Sensor networks Smart grids Internet of things Cloud computing |
title_short |
Distributed near real-time processing of sensor network data flows for smart grids |
title_full |
Distributed near real-time processing of sensor network data flows for smart grids |
title_fullStr |
Distributed near real-time processing of sensor network data flows for smart grids |
title_full_unstemmed |
Distributed near real-time processing of sensor network data flows for smart grids |
title_sort |
Distributed near real-time processing of sensor network data flows for smart grids |
author |
Carvalho, Otávio Moraes de |
author_facet |
Carvalho, Otávio Moraes de |
author_role |
author |
dc.contributor.author.fl_str_mv |
Carvalho, Otávio Moraes de |
dc.contributor.advisor1.fl_str_mv |
Navaux, Philippe Olivier Alexandre |
dc.contributor.advisor-co1.fl_str_mv |
Roloff, Eduardo |
contributor_str_mv |
Navaux, Philippe Olivier Alexandre Roloff, Eduardo |
dc.subject.por.fl_str_mv |
Processamento distribuído Computação em nuvem |
topic |
Processamento distribuído Computação em nuvem Event stream processing Distributed processing Sensor networks Smart grids Internet of things Cloud computing |
dc.subject.eng.fl_str_mv |
Event stream processing Distributed processing Sensor networks Smart grids Internet of things Cloud computing |
description |
Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015 |
dc.date.accessioned.fl_str_mv |
2016-04-14T02:07:39Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/138253 |
dc.identifier.nrb.pt_BR.fl_str_mv |
000988876 |
url |
http://hdl.handle.net/10183/138253 |
identifier_str_mv |
000988876 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Repositório Institucional da UFRGS |
collection |
Repositório Institucional da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/138253/1/000988876.pdf http://www.lume.ufrgs.br/bitstream/10183/138253/2/000988876.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/138253/3/000988876.pdf.jpg |
bitstream.checksum.fl_str_mv |
7ef50bd9fbbe97c5bb1389f6aa8fa29b 0cc88b3c3ca85b9e49645f8145974bc5 be5a257d8e343f57e5913164e73f02a8 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
|
_version_ |
1801224505118425088 |