Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água

Detalhes bibliográficos
Autor(a) principal: Larrubia, Leonardo Fonseca
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/
Resumo: Desenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries.
id USP_34e955165cbce3fa8baabdc9ed0561da
oai_identifier_str oai:teses.usp.br:tde-10062021-231004
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de águaAnomaly detection, interpolation and real-time forecasting of time series for reservoir operation and water distributionBig dataBig dataForecastingIndústria da águaMissing dataOutliersPrevisãoReal timeSéries temporaisTempo realTime seriesValores atípicosValores omissosWater industryDesenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries.We developed a time series analysis solution for a recurring problem in Operational Control Centers of water distribution systems: anomalies in real time data received from telemetry stations. The developed solution consists of detecting outliers, reconstructing missing values and forecasting. For this purpose, we analyzed time series generated by measuring equipment: level, input and output flows of reservoir and upstream and downstream pressures of valves that control the flow of water. The data, referring to the water distribution system of the city of Peruíbe, were provided by Sabesp located in Baixada Santista and it is sampled every hour from 1:00 a.m. on January 1, 2017 to 11:00 p.m. on December 31, 2018. We propose procedures that use three main techniques for the detection of outliers and imputation of missing values: adjustment of curves by regression, classical decomposition combined with regression and STL decomposition. For forecasting, we used rolling analysis techniques in combination with SARIMA models, regression models with autocorrelated errors and BATS and TBATS models. The results showed that the proposed methods, both for detecting outliers and imputing of missing values, as well as for forecasting, perform very well for most time series.Biblioteca Digitais de Teses e Dissertações da USPChiann, ChangLarrubia, Leonardo Fonseca2021-04-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-08-15T14:35:02Zoai:teses.usp.br:tde-10062021-231004Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-08-15T14:35:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
Anomaly detection, interpolation and real-time forecasting of time series for reservoir operation and water distribution
title Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
spellingShingle Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
Larrubia, Leonardo Fonseca
Big data
Big data
Forecasting
Indústria da água
Missing data
Outliers
Previsão
Real time
Séries temporais
Tempo real
Time series
Valores atípicos
Valores omissos
Water industry
title_short Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
title_full Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
title_fullStr Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
title_full_unstemmed Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
title_sort Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
author Larrubia, Leonardo Fonseca
author_facet Larrubia, Leonardo Fonseca
author_role author
dc.contributor.none.fl_str_mv Chiann, Chang
dc.contributor.author.fl_str_mv Larrubia, Leonardo Fonseca
dc.subject.por.fl_str_mv Big data
Big data
Forecasting
Indústria da água
Missing data
Outliers
Previsão
Real time
Séries temporais
Tempo real
Time series
Valores atípicos
Valores omissos
Water industry
topic Big data
Big data
Forecasting
Indústria da água
Missing data
Outliers
Previsão
Real time
Séries temporais
Tempo real
Time series
Valores atípicos
Valores omissos
Water industry
description Desenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries.
publishDate 2021
dc.date.none.fl_str_mv 2021-04-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/
url https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090581399339008