Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis

Detalhes bibliográficos
Autor(a) principal: Ferreira, Paloma Mara de Lima
Data de Publicação: 2020
Outros Autores: Paz, Adriano Rolim da, Bravo, Juan Martín
Tipo de documento: Artigo
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/217172
Resumo: Modelos hidrológicos (MHs) podem ser aplicados para diferentes propósitos, uma etapa fundamental é a calibração do modelo usando funções objetivo (FO) para quantificar a concordância entre as vazões observadas e calculadas. O entendimento completo das FO é importante para aproveitar adequadamente a calibração do modelo e interpretar os resultados. Este estudo avalia 36 FO propostas na literatura, considerando duas bacias hidrográficas de diferentes regimes hidrológicos. Séries temporais diárias de vazão simulada, usando um modelo hidrológico distribuído (MGB-IPH), e dez séries temporais sintéticas diárias, geradas a partir das vazões observadas e calculadas, foram usadas na análise de cada bacia hidrográfica. Esses dados sintéticos foram usados para avaliar como cada métrica avalia os casos hipotéticos que apresentam comportamentos de erro isolados muito conhecidos. Apesar de todas as métricas derivadas de NSE (eficiência de Nash-Sutcliffe) que usam o quadrado dos resíduos em sua formulação terem demonstrado maior sensibilidade a erros nas vazões altas, os que usam médias diárias e mensais das vazões em termos absolutos foram mais rigorosos que os outros para avaliar o desempenho dos MHs. Erros nas vazões baixas foram melhor avaliados por métricas que usam o logaritmo das vazões. A presença constante de vazões zero os deteriora significativamente, com exceção das métricas TRMSE (erro quadrático médio da raiz transformada) não demonstraram esse problema. Uma limitação observada das formulações de algumas métricas foi que os erros de superestimação ou subestimação são compensados. Nossos resultados reafirmam que cada métrica deve ser interpretada pensando especificamente nos aspectos para os quais foi proposta e, considerando simultaneamente um conjunto de métricas, levaria a uma avaliação mais ampla da capacidade do MH (ex: avaliação de modelo multiobjetivo). Recomendamos que o uso de séries temporais sintéticas, como as propostas neste trabalho, possa ser útil como um passo auxiliar no melhor entendimento da avaliação de um modelo hidrológico calibrado para cada estudo de caso, levando em consideração as capacidades do modelo e as características observadas do regime hidrológico.
id UFRGS-2_2f2662b6ec89ca38d65f9fde851cd66c
oai_identifier_str oai:www.lume.ufrgs.br:10183/217172
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Ferreira, Paloma Mara de LimaPaz, Adriano Rolim daBravo, Juan Martín2021-01-09T04:18:42Z20201414-381Xhttp://hdl.handle.net/10183/217172001120043Modelos hidrológicos (MHs) podem ser aplicados para diferentes propósitos, uma etapa fundamental é a calibração do modelo usando funções objetivo (FO) para quantificar a concordância entre as vazões observadas e calculadas. O entendimento completo das FO é importante para aproveitar adequadamente a calibração do modelo e interpretar os resultados. Este estudo avalia 36 FO propostas na literatura, considerando duas bacias hidrográficas de diferentes regimes hidrológicos. Séries temporais diárias de vazão simulada, usando um modelo hidrológico distribuído (MGB-IPH), e dez séries temporais sintéticas diárias, geradas a partir das vazões observadas e calculadas, foram usadas na análise de cada bacia hidrográfica. Esses dados sintéticos foram usados para avaliar como cada métrica avalia os casos hipotéticos que apresentam comportamentos de erro isolados muito conhecidos. Apesar de todas as métricas derivadas de NSE (eficiência de Nash-Sutcliffe) que usam o quadrado dos resíduos em sua formulação terem demonstrado maior sensibilidade a erros nas vazões altas, os que usam médias diárias e mensais das vazões em termos absolutos foram mais rigorosos que os outros para avaliar o desempenho dos MHs. Erros nas vazões baixas foram melhor avaliados por métricas que usam o logaritmo das vazões. A presença constante de vazões zero os deteriora significativamente, com exceção das métricas TRMSE (erro quadrático médio da raiz transformada) não demonstraram esse problema. Uma limitação observada das formulações de algumas métricas foi que os erros de superestimação ou subestimação são compensados. Nossos resultados reafirmam que cada métrica deve ser interpretada pensando especificamente nos aspectos para os quais foi proposta e, considerando simultaneamente um conjunto de métricas, levaria a uma avaliação mais ampla da capacidade do MH (ex: avaliação de modelo multiobjetivo). Recomendamos que o uso de séries temporais sintéticas, como as propostas neste trabalho, possa ser útil como um passo auxiliar no melhor entendimento da avaliação de um modelo hidrológico calibrado para cada estudo de caso, levando em consideração as capacidades do modelo e as características observadas do regime hidrológico.Hydrological models (HMs) can be applied for different purposes, and a key step is model calibration using objective functions (OF) to quantify the agreement between observed and calculated discharges. Fully understanding the OF is important to properly take advantage of model calibration and interpret the results. This study evaluates 36 OF proposed in the literature, considering two watersheds of different hydrological regimes. Daily simulated streamflow time-series, using a distributed hydrological model (MGB‑IPH), and ten daily streamflow synthetic time-series, generated from the observed and calculated streamflows, were used in the analysis of each watershed. These synthetic data were used to evaluate how does each metric evaluate hypothetical cases that present isolated very well known error behaviors. Despite of all NSE-derived (Nash-Sutcliffe efficiency) metrics that use the square of the residuals in their formulation have shown higher sensitivity to errors in high flows, the ones that use daily and monthly averages of flow rates in absolute terms were more stringent than the others to assess HMs performance. Low flow errors were better evaluated by metrics that use the flow logarithm. The constant presence of zero flow rates deteriorate them significantly, with the exception of the metrics TRMSE (Transformed root mean square error) did not demonstrate this problem. An observed limitation of the formulations of some metrics was that the errors of overestimation or underestimation are compensated. Our results reassert that each metric should be interpreted specifically thinking about the aspects it has been proposed for, and simultaneously taking into account a set of metrics would lead to a broader evaluation of HM ability (e.g. multiobjective model evaluation). We recommend that the use of synthetic time series as those proposed in this work could be useful as an auxiliary step towards better understanding the evaluation of a calibrated hydrological model for each study case, taking into account model capabilities and observed hydrologic regime characteristics.application/pdfengRbrh : Revista Brasileira de Recursos Hídricos. Porto Alegre, RS. Vol. 25 (Jan./Dec. 2020), e42, 15 p.Modelos hidrológicosModelos hidrológicosCalibração automáticaModelo MGB-IPHModel calibrationHydrologic simulationPerformance measuresObjective functions used as performance metrics for hydrological models : state-of-the-art and critical analysisFunções-objetivo utilizadas como medidas de desempenho de modelos hidrológicos : estado-da-arte e análise críticainfo:eu-repo/semantics/articleinfo:eu-repo/semantics/otherinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001120043.pdf.txt001120043.pdf.txtExtracted Texttext/plain74230http://www.lume.ufrgs.br/bitstream/10183/217172/2/001120043.pdf.txtb29e4dcf23e5785165e87682198ee24fMD52ORIGINAL001120043.pdfTexto completo (inglês)application/pdf1760530http://www.lume.ufrgs.br/bitstream/10183/217172/1/001120043.pdfd43227e43d1201f8dc0b694f51146227MD5110183/2171722023-12-23 04:29:26.824434oai:www.lume.ufrgs.br:10183/217172Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2023-12-23T06:29:26Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
dc.title.alternative.pt.fl_str_mv Funções-objetivo utilizadas como medidas de desempenho de modelos hidrológicos : estado-da-arte e análise crítica
title Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
spellingShingle Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
Ferreira, Paloma Mara de Lima
Modelos hidrológicos
Modelos hidrológicos
Calibração automática
Modelo MGB-IPH
Model calibration
Hydrologic simulation
Performance measures
title_short Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
title_full Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
title_fullStr Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
title_full_unstemmed Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
title_sort Objective functions used as performance metrics for hydrological models : state-of-the-art and critical analysis
author Ferreira, Paloma Mara de Lima
author_facet Ferreira, Paloma Mara de Lima
Paz, Adriano Rolim da
Bravo, Juan Martín
author_role author
author2 Paz, Adriano Rolim da
Bravo, Juan Martín
author2_role author
author
dc.contributor.author.fl_str_mv Ferreira, Paloma Mara de Lima
Paz, Adriano Rolim da
Bravo, Juan Martín
dc.subject.por.fl_str_mv Modelos hidrológicos
Modelos hidrológicos
Calibração automática
Modelo MGB-IPH
topic Modelos hidrológicos
Modelos hidrológicos
Calibração automática
Modelo MGB-IPH
Model calibration
Hydrologic simulation
Performance measures
dc.subject.eng.fl_str_mv Model calibration
Hydrologic simulation
Performance measures
description Modelos hidrológicos (MHs) podem ser aplicados para diferentes propósitos, uma etapa fundamental é a calibração do modelo usando funções objetivo (FO) para quantificar a concordância entre as vazões observadas e calculadas. O entendimento completo das FO é importante para aproveitar adequadamente a calibração do modelo e interpretar os resultados. Este estudo avalia 36 FO propostas na literatura, considerando duas bacias hidrográficas de diferentes regimes hidrológicos. Séries temporais diárias de vazão simulada, usando um modelo hidrológico distribuído (MGB-IPH), e dez séries temporais sintéticas diárias, geradas a partir das vazões observadas e calculadas, foram usadas na análise de cada bacia hidrográfica. Esses dados sintéticos foram usados para avaliar como cada métrica avalia os casos hipotéticos que apresentam comportamentos de erro isolados muito conhecidos. Apesar de todas as métricas derivadas de NSE (eficiência de Nash-Sutcliffe) que usam o quadrado dos resíduos em sua formulação terem demonstrado maior sensibilidade a erros nas vazões altas, os que usam médias diárias e mensais das vazões em termos absolutos foram mais rigorosos que os outros para avaliar o desempenho dos MHs. Erros nas vazões baixas foram melhor avaliados por métricas que usam o logaritmo das vazões. A presença constante de vazões zero os deteriora significativamente, com exceção das métricas TRMSE (erro quadrático médio da raiz transformada) não demonstraram esse problema. Uma limitação observada das formulações de algumas métricas foi que os erros de superestimação ou subestimação são compensados. Nossos resultados reafirmam que cada métrica deve ser interpretada pensando especificamente nos aspectos para os quais foi proposta e, considerando simultaneamente um conjunto de métricas, levaria a uma avaliação mais ampla da capacidade do MH (ex: avaliação de modelo multiobjetivo). Recomendamos que o uso de séries temporais sintéticas, como as propostas neste trabalho, possa ser útil como um passo auxiliar no melhor entendimento da avaliação de um modelo hidrológico calibrado para cada estudo de caso, levando em consideração as capacidades do modelo e as características observadas do regime hidrológico.
publishDate 2020
dc.date.issued.fl_str_mv 2020
dc.date.accessioned.fl_str_mv 2021-01-09T04:18:42Z
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/other
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/217172
dc.identifier.issn.pt_BR.fl_str_mv 1414-381X
dc.identifier.nrb.pt_BR.fl_str_mv 001120043
identifier_str_mv 1414-381X
001120043
url http://hdl.handle.net/10183/217172
dc.language.iso.fl_str_mv eng
language eng
dc.relation.ispartof.pt_BR.fl_str_mv Rbrh : Revista Brasileira de Recursos Hídricos. Porto Alegre, RS. Vol. 25 (Jan./Dec. 2020), e42, 15 p.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/217172/2/001120043.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/217172/1/001120043.pdf
bitstream.checksum.fl_str_mv b29e4dcf23e5785165e87682198ee24f
d43227e43d1201f8dc0b694f51146227
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801225006548516864