Anomaly Detection of Water Consumption

Detalhes bibliográficos
Autor(a) principal: Santos, Marta Cristiana Barbosa Dos
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.22/19398
Resumo: Com os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água.
id RCAP_9fb21dd86617d4551a9e2d545c8811ab
oai_identifier_str oai:recipp.ipp.pt:10400.22/19398
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Anomaly Detection of Water ConsumptionPerdas de ÁguaPerdas AparentesAnálise de séries temporaisDeteção AnomaliasApoio à tomada de decisãoMetodos de ApoioDecisão EmpresarialCom os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água.With the substantial increase in water losses, there has been a strong concern towards the development of sustainable solutions to combat losses. Water supply companies face new challenges and seek solutions to reduce losses, minimizing inherent costs, increasing the quality of services provided, and becoming more sustainable and competitive. This project portrays the case of a water distribution company, which intends to minimize its losses by detecting significant changes in its customers’ water consumption. To assist the company in detecting anomalies in water consumption and taking timely decisions in order to minimize these losses, a dashboard in R software was created that allows the upload of a CSV file with the consumption history and returns sudden changes to the user detected in consumption patterns. The methods implemented in the dashboard were initially analyzed and tested. This preliminary study is reported in 2 articles published in proceedings indexed in Scopus and presented at international conferences. The first article focuses on the application and evaluation of different methods for detecting points of change in water consumption, having analyzed two real datasets provided by the company, which correspond to the records of water consumption in a period of one year of a hotel and a hospital located in the north of Portugal. In the second article, in order to validate the methods used in the previous article and as there were no guarantees that the detected points of change corresponded to actual anomalies or breaks in water consumption, synthetic datasets generated based on probabilistic distributions suggested by the literature were used. In these datasets, drops in consumption of 5%, 10%, 15% and 20% were inserted in the magnitude of the parameters, resulting in a total of 1200 simulated datasets. With these synthetic datasets, a performance analysis was performed using the RMSE (Root Mean Squared Error) and MSE (Mean squared error) to determine the effectiveness of the change point detection methods in detecting drops in water consumptionBorges, Ana Isabel CoelhoCarneiro, Davide RuaFerreira, Flora José RochaRepositório Científico do Instituto Politécnico do PortoSantos, Marta Cristiana Barbosa Dos202120212026-01-01T00:00:00Z2021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.22/19398TID:202899640enginfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-03-13T13:14:03Zoai:recipp.ipp.pt:10400.22/19398Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T17:39:30.850921Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Anomaly Detection of Water Consumption
title Anomaly Detection of Water Consumption
spellingShingle Anomaly Detection of Water Consumption
Santos, Marta Cristiana Barbosa Dos
Perdas de Água
Perdas Aparentes
Análise de séries temporais
Deteção Anomalias
Apoio à tomada de decisão
Metodos de Apoio
Decisão Empresarial
title_short Anomaly Detection of Water Consumption
title_full Anomaly Detection of Water Consumption
title_fullStr Anomaly Detection of Water Consumption
title_full_unstemmed Anomaly Detection of Water Consumption
title_sort Anomaly Detection of Water Consumption
author Santos, Marta Cristiana Barbosa Dos
author_facet Santos, Marta Cristiana Barbosa Dos
author_role author
dc.contributor.none.fl_str_mv Borges, Ana Isabel Coelho
Carneiro, Davide Rua
Ferreira, Flora José Rocha
Repositório Científico do Instituto Politécnico do Porto
dc.contributor.author.fl_str_mv Santos, Marta Cristiana Barbosa Dos
dc.subject.por.fl_str_mv Perdas de Água
Perdas Aparentes
Análise de séries temporais
Deteção Anomalias
Apoio à tomada de decisão
Metodos de Apoio
Decisão Empresarial
topic Perdas de Água
Perdas Aparentes
Análise de séries temporais
Deteção Anomalias
Apoio à tomada de decisão
Metodos de Apoio
Decisão Empresarial
description Com os aumentos substanciais de perdas de água tem existido uma forte preocupação no desenvolvimento de soluções sustentáveis de combate às perdas. As empresas de fornecimento de água enfrentam novos desafios e procuram soluções para reduzir as perdas, minimizando os custos inerentes, aumentando a qualidade dos serviços prestados e tornando-se mais sustentáveis e competitivas. Este projeto foi desenvolvido em colaboração com uma empresa de fornecimento de água, que pretende minimizar as suas perdas com a deteção de alterações significativas nos consumos de água dos seus clientes. Para auxiliar a empresa na deteção de anomalias nos consumos de água e a tomar decisões oportunas de forma a minimizar essas perdas, foi construído um dashboard no software R que permite o upload de um arquivo CSV com o histórico de consumo, e devolve ao utilizador mudanças bruscas detetadas nos padrões de consumos. Os métodos implementados na dashboard foram inicialmente analisados e testados. Este estudo preliminar está reportado em 2 artigos publicados em proceedings indexados no Scopus e que foram apresentados em conferências internacionais. O primeiro artigo incide sobre a aplicação e avaliação de diferentes métodos para a detecção de pontos de mudança em consumos de água. Para tal foram analisados dois datasets reais fornecidos pela empresa, que correspondem aos registos do consumo de água num período de um ano de um hotel e um hospital situados a norte de Portugal. No segundo artigo, de forma a validar os métodos utilizados no artigo anterior e como não existiam garantias que os pontos de mudança detetados correspondiam a anomalias ou quebras nos consumos de água, recorreu-se à simulação de conjuntos de dados com base em distribuições probabilísticas sugeridas na literatura. Nesses conjuntos de dados foram inseridas quebras nos consumos de 5%, 10%, 15% e 20% na magnitude dos parâmetros, resultando um total de 1200 conjunto de dados simulados. Com estes novos dados foi elaborada uma análise de performance utilizando o RMSE (Raiz do Erro Quadrático Médio) e MSE (Erro Quadrático Médio) para determinar a eficácia dos métodos de deteção de pontos de mudança na deteção de quebras nos consumos de água.
publishDate 2021
dc.date.none.fl_str_mv 2021
2021
2021-01-01T00:00:00Z
2026-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.22/19398
TID:202899640
url http://hdl.handle.net/10400.22/19398
identifier_str_mv TID:202899640
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799131484003500032