Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/ |
Resumo: | Desenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries. |
id |
USP_34e955165cbce3fa8baabdc9ed0561da |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-10062021-231004 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de águaAnomaly detection, interpolation and real-time forecasting of time series for reservoir operation and water distributionBig dataBig dataForecastingIndústria da águaMissing dataOutliersPrevisãoReal timeSéries temporaisTempo realTime seriesValores atípicosValores omissosWater industryDesenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries.We developed a time series analysis solution for a recurring problem in Operational Control Centers of water distribution systems: anomalies in real time data received from telemetry stations. The developed solution consists of detecting outliers, reconstructing missing values and forecasting. For this purpose, we analyzed time series generated by measuring equipment: level, input and output flows of reservoir and upstream and downstream pressures of valves that control the flow of water. The data, referring to the water distribution system of the city of Peruíbe, were provided by Sabesp located in Baixada Santista and it is sampled every hour from 1:00 a.m. on January 1, 2017 to 11:00 p.m. on December 31, 2018. We propose procedures that use three main techniques for the detection of outliers and imputation of missing values: adjustment of curves by regression, classical decomposition combined with regression and STL decomposition. For forecasting, we used rolling analysis techniques in combination with SARIMA models, regression models with autocorrelated errors and BATS and TBATS models. The results showed that the proposed methods, both for detecting outliers and imputing of missing values, as well as for forecasting, perform very well for most time series.Biblioteca Digitais de Teses e Dissertações da USPChiann, ChangLarrubia, Leonardo Fonseca2021-04-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-08-15T14:35:02Zoai:teses.usp.br:tde-10062021-231004Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-08-15T14:35:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água Anomaly detection, interpolation and real-time forecasting of time series for reservoir operation and water distribution |
title |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
spellingShingle |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água Larrubia, Leonardo Fonseca Big data Big data Forecasting Indústria da água Missing data Outliers Previsão Real time Séries temporais Tempo real Time series Valores atípicos Valores omissos Water industry |
title_short |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
title_full |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
title_fullStr |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
title_full_unstemmed |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
title_sort |
Detecção de anomalias, interpolação e previsão em tempo real de séries temporais para operação de reservatórios e distribuição de água |
author |
Larrubia, Leonardo Fonseca |
author_facet |
Larrubia, Leonardo Fonseca |
author_role |
author |
dc.contributor.none.fl_str_mv |
Chiann, Chang |
dc.contributor.author.fl_str_mv |
Larrubia, Leonardo Fonseca |
dc.subject.por.fl_str_mv |
Big data Big data Forecasting Indústria da água Missing data Outliers Previsão Real time Séries temporais Tempo real Time series Valores atípicos Valores omissos Water industry |
topic |
Big data Big data Forecasting Indústria da água Missing data Outliers Previsão Real time Séries temporais Tempo real Time series Valores atípicos Valores omissos Water industry |
description |
Desenvolvemos uma solução via análise de séries temporais visando resolver um problema recorrente em Centros de Controle Operacionais de distribuição de água: anomalias em dados recebidos das estações de telemetria em tempo real para tomadas de decisão. A solução desenvolvida consiste em fazer detecção de outliers, reconstrução de valores omissos e previsão. Para tanto, foram utilizadas séries temporais geradas por equipamentos de medição de nível, vazões de entrada e de saídas do reservatório e de pressões a montante e a jusante de válvulas que controlam o fluxo de água. Os dados, referentes ao sistema de distribuição de água da cidade de Peruíbe, foram fornecidos pela Sabesp da Baixada Santista e sua amostragem temporal é a cada hora, indo das 1:00 do dia 1º de janeiro de 2017 até às 23:00 do dia 31 de dezembro de 2018. Para a detecção de outliers e preenchimento de valores omissos, foram propostos procedimentos que usam três técnicas principais: ajuste de curvas via regressão, decomposição clássica junto a regressão e decomposição STL. Já para previsão, foram utilizadas técnicas de rolling analysis em combinação com modelos SARIMA, modelos de regressão com erros auto correlacionados e modelos BATS e TBATS. Os resultados demonstraram que os métodos propostos, tanto para detecção de outliers e preenchimento de valores omissos, como para a previsão, possuem desempenhos muito bons para a maioria das séries. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-04-08 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/ |
url |
https://www.teses.usp.br/teses/disponiveis/45/45133/tde-10062021-231004/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1809090581399339008 |