Anomaly Detection of Water Consumption
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10400.22/19398 |
Resumo: | Com os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água. |
id |
RCAP_9fb21dd86617d4551a9e2d545c8811ab |
---|---|
oai_identifier_str |
oai:recipp.ipp.pt:10400.22/19398 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Anomaly Detection of Water ConsumptionPerdas de ÁguaPerdas AparentesAnálise de séries temporaisDeteção AnomaliasApoio à tomada de decisãoMetodos de ApoioDecisão EmpresarialCom os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água.With the substantial increase in water losses, there has been a strong concern towards the development of sustainable solutions to combat losses. Water supply companies face new challenges and seek solutions to reduce losses, minimizing inherent costs, increasing the quality of services provided, and becoming more sustainable and competitive. This project portrays the case of a water distribution company, which intends to minimize its losses by detecting significant changes in its customers’ water consumption. To assist the company in detecting anomalies in water consumption and taking timely decisions in order to minimize these losses, a dashboard in R software was created that allows the upload of a CSV file with the consumption history and returns sudden changes to the user detected in consumption patterns. The methods implemented in the dashboard were initially analyzed and tested. This preliminary study is reported in 2 articles published in proceedings indexed in Scopus and presented at international conferences. The first article focuses on the application and evaluation of different methods for detecting points of change in water consumption, having analyzed two real datasets provided by the company, which correspond to the records of water consumption in a period of one year of a hotel and a hospital located in the north of Portugal. In the second article, in order to validate the methods used in the previous article and as there were no guarantees that the detected points of change corresponded to actual anomalies or breaks in water consumption, synthetic datasets generated based on probabilistic distributions suggested by the literature were used. In these datasets, drops in consumption of 5%, 10%, 15% and 20% were inserted in the magnitude of the parameters, resulting in a total of 1200 simulated datasets. With these synthetic datasets, a performance analysis was performed using the RMSE (Root Mean Squared Error) and MSE (Mean squared error) to determine the effectiveness of the change point detection methods in detecting drops in water consumptionBorges, Ana Isabel CoelhoCarneiro, Davide RuaFerreira, Flora José RochaRepositório Científico do Instituto Politécnico do PortoSantos, Marta Cristiana Barbosa Dos202120212026-01-01T00:00:00Z2021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.22/19398TID:202899640enginfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-03-13T13:14:03Zoai:recipp.ipp.pt:10400.22/19398Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T17:39:30.850921Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Anomaly Detection of Water Consumption |
title |
Anomaly Detection of Water Consumption |
spellingShingle |
Anomaly Detection of Water Consumption Santos, Marta Cristiana Barbosa Dos Perdas de Água Perdas Aparentes Análise de séries temporais Deteção Anomalias Apoio à tomada de decisão Metodos de Apoio Decisão Empresarial |
title_short |
Anomaly Detection of Water Consumption |
title_full |
Anomaly Detection of Water Consumption |
title_fullStr |
Anomaly Detection of Water Consumption |
title_full_unstemmed |
Anomaly Detection of Water Consumption |
title_sort |
Anomaly Detection of Water Consumption |
author |
Santos, Marta Cristiana Barbosa Dos |
author_facet |
Santos, Marta Cristiana Barbosa Dos |
author_role |
author |
dc.contributor.none.fl_str_mv |
Borges, Ana Isabel Coelho Carneiro, Davide Rua Ferreira, Flora José Rocha Repositório Científico do Instituto Politécnico do Porto |
dc.contributor.author.fl_str_mv |
Santos, Marta Cristiana Barbosa Dos |
dc.subject.por.fl_str_mv |
Perdas de Água Perdas Aparentes Análise de séries temporais Deteção Anomalias Apoio à tomada de decisão Metodos de Apoio Decisão Empresarial |
topic |
Perdas de Água Perdas Aparentes Análise de séries temporais Deteção Anomalias Apoio à tomada de decisão Metodos de Apoio Decisão Empresarial |
description |
Com os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021 2021 2021-01-01T00:00:00Z 2026-01-01T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10400.22/19398 TID:202899640 |
url |
http://hdl.handle.net/10400.22/19398 |
identifier_str_mv |
TID:202899640 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/embargoedAccess |
eu_rights_str_mv |
embargoedAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799131484003500032 |