Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água
Autor(a) principal: | |
---|---|
Data de Publicação: | 2011 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMT |
Texto Completo: | http://ri.ufmt.br/handle/1/1214 |
Resumo: | One of the problems encountered in the statistical analysis of water quality monitoring data is the censored data. Censoring, occurs when the value of a measurement or observation is only partially known, it is below or above the detection limit (DL) of analytical measurement technique. It is common in the literature replacing censored values by zero or a fraction (1⁄2DL, or DL) of the detection limit for each nondetect. Two decades of research has shown that if the censored data is not handle properly lead to inaccurate estimates of statistical parameters (mean and standard deviation) in comparison with other methods, especially when the data set has small number of observations (n <50) or a high percentage of censored data (above 15% of total observations). In this context the goal of this study was to highlight how the mean concentration of water quality variables are influenced by sample size, percentage of censored data and calculation method. The study clearly illustrate the problems with substitution of arbitrary values for nondetects by testing them against parametric methods Maximum Likelihood Estimator (MLE) and Regression on Order Statistics (ROS) and nonparametric method Kaplan-Meier (KM), designed expressly for dealing with censored data. The analysis was carried out with dataset from Cuiabá River water quality monitoring program. The results show that substituting methods should be avoided because sample means and standard deviations are inaccurate and irreproducible. |
id |
UFMT_aad5454408bced69bd702fe06adf8daf |
---|---|
oai_identifier_str |
oai:localhost:1/1214 |
network_acronym_str |
UFMT |
network_name_str |
Repositório Institucional da UFMT |
repository_id_str |
|
spelling |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da águaDados censuradosQualidade da águaMaximum likelihood estimatorRegression on order statisticsKaplan-MeierCNPQ::ENGENHARIAS::ENGENHARIA SANITARIA::RECURSOS HIDRICOSCensored dataWater qualityMaximum likelihood estimatorRegression on order statisticsKaplan-MeierOne of the problems encountered in the statistical analysis of water quality monitoring data is the censored data. Censoring, occurs when the value of a measurement or observation is only partially known, it is below or above the detection limit (DL) of analytical measurement technique. It is common in the literature replacing censored values by zero or a fraction (1⁄2DL, or DL) of the detection limit for each nondetect. Two decades of research has shown that if the censored data is not handle properly lead to inaccurate estimates of statistical parameters (mean and standard deviation) in comparison with other methods, especially when the data set has small number of observations (n <50) or a high percentage of censored data (above 15% of total observations). In this context the goal of this study was to highlight how the mean concentration of water quality variables are influenced by sample size, percentage of censored data and calculation method. The study clearly illustrate the problems with substitution of arbitrary values for nondetects by testing them against parametric methods Maximum Likelihood Estimator (MLE) and Regression on Order Statistics (ROS) and nonparametric method Kaplan-Meier (KM), designed expressly for dealing with censored data. The analysis was carried out with dataset from Cuiabá River water quality monitoring program. The results show that substituting methods should be avoided because sample means and standard deviations are inaccurate and irreproducible.CAPESUm dos problemas encontrados na análise estatística de dados provenientes de monitoramento da qualidade da água são os chamados dados, ou valores, censurados. Dados censurados indicam que valor medido é apenas parcialmente conhecido, ou seja, encontra-se abaixo ou acima do limite de detecção (LD) da técnica analítica de medição. Na literatura é comum a utilização do método de substituição, onde os valores censurados são substituídos por zero, 1⁄2LD ou LD. Porém, duas décadas de pesquisa revela que os valores censurados quando não tratados de maneira adequada levam a estimativas imprecisas dos parâmetros estatísticos (média e desvio padrão), especialmente quando o conjunto de dados possui poucas observações (n < 50) ou um elevado número de valores censurados (acima de 15% do total de observações). Neste contexto, o estudo ilustra como o valor calculado da concentração média das variáveis de qualidade da água é influenciado pela escolha do método de cálculo, do tamanho da amostra e do percentual de dados censurados e também chamar atenção para a importância deste tema no que diz respeito aos relatórios produzidos pelos programas brasileiros de monitoramento da qualidade da água. A análise foi realizada para os métodos paramétricos: Substituição Simples (SS), Estimação por Máxima Verossimilhança (MLE – Maximum Likelihood Estimator) e Gráficos de Probabilidade com Estatística de Regressão (ROS - Regression on Order Statistics) e o método não paramétricos de Kaplan-Meier (KM). Foram utilizados dados de concentração media das variáveis de qualidade da água (DQO, Nitrato e Fosfato) provenientes do programa de monitoramento da qualidade da água do Rio Cuiabá. Os resultados mostram que o método de substituição deve ser evitado, pois a média e desvio-padrão calculado são imprecisos e não podem ser reproduzidos.Universidade Federal de Mato GrossoBrasilFaculdade de Arquitetura, Engenharia e Tecnologia (FAET)UFMT CUC - CuiabáPrograma de Pós-Graduação em Recursos HídricosLima, Gilson Alberto Rosahttp://lattes.cnpq.br/5112627739121210Lima, Gilson Alberto Rosa360.860.610-68http://lattes.cnpq.br/5112627739121210Dores, Eliana Freire Gaspar de Carvalho010.092.058-62http://lattes.cnpq.br/4094572237082106360.860.610-68Zeilhofer, Peter.http://lattes.cnpq.br/1101747116364613Contar, Thaisa de Souza2019-07-09T16:45:14Z2012-08-232019-07-09T16:45:14Z2011-02-02info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisCONTAR, Thaisa de Souza. Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água. 2011. 79 f. Dissertação (Mestrado em Recursos Hídricos) - Universidade Federal de Mato Grosso, Faculdade de Arquitetura, Engenharia e Tecnologia, Cuiabá, 2011.http://ri.ufmt.br/handle/1/1214porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMTinstname:Universidade Federal de Mato Grosso (UFMT)instacron:UFMT2019-10-07T10:42:47Zoai:localhost:1/1214Repositório InstitucionalPUBhttp://ri.ufmt.br/oai/requestjordanbiblio@gmail.comopendoar:2019-10-07T10:42:47Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT)false |
dc.title.none.fl_str_mv |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
title |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
spellingShingle |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água Contar, Thaisa de Souza Dados censurados Qualidade da água Maximum likelihood estimator Regression on order statistics Kaplan-Meier CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA::RECURSOS HIDRICOS Censored data Water quality Maximum likelihood estimator Regression on order statistics Kaplan-Meier |
title_short |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
title_full |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
title_fullStr |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
title_full_unstemmed |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
title_sort |
Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água |
author |
Contar, Thaisa de Souza |
author_facet |
Contar, Thaisa de Souza |
author_role |
author |
dc.contributor.none.fl_str_mv |
Lima, Gilson Alberto Rosa http://lattes.cnpq.br/5112627739121210 Lima, Gilson Alberto Rosa 360.860.610-68 http://lattes.cnpq.br/5112627739121210 Dores, Eliana Freire Gaspar de Carvalho 010.092.058-62 http://lattes.cnpq.br/4094572237082106 360.860.610-68 Zeilhofer, Peter . http://lattes.cnpq.br/1101747116364613 |
dc.contributor.author.fl_str_mv |
Contar, Thaisa de Souza |
dc.subject.por.fl_str_mv |
Dados censurados Qualidade da água Maximum likelihood estimator Regression on order statistics Kaplan-Meier CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA::RECURSOS HIDRICOS Censored data Water quality Maximum likelihood estimator Regression on order statistics Kaplan-Meier |
topic |
Dados censurados Qualidade da água Maximum likelihood estimator Regression on order statistics Kaplan-Meier CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA::RECURSOS HIDRICOS Censored data Water quality Maximum likelihood estimator Regression on order statistics Kaplan-Meier |
description |
One of the problems encountered in the statistical analysis of water quality monitoring data is the censored data. Censoring, occurs when the value of a measurement or observation is only partially known, it is below or above the detection limit (DL) of analytical measurement technique. It is common in the literature replacing censored values by zero or a fraction (1⁄2DL, or DL) of the detection limit for each nondetect. Two decades of research has shown that if the censored data is not handle properly lead to inaccurate estimates of statistical parameters (mean and standard deviation) in comparison with other methods, especially when the data set has small number of observations (n <50) or a high percentage of censored data (above 15% of total observations). In this context the goal of this study was to highlight how the mean concentration of water quality variables are influenced by sample size, percentage of censored data and calculation method. The study clearly illustrate the problems with substitution of arbitrary values for nondetects by testing them against parametric methods Maximum Likelihood Estimator (MLE) and Regression on Order Statistics (ROS) and nonparametric method Kaplan-Meier (KM), designed expressly for dealing with censored data. The analysis was carried out with dataset from Cuiabá River water quality monitoring program. The results show that substituting methods should be avoided because sample means and standard deviations are inaccurate and irreproducible. |
publishDate |
2011 |
dc.date.none.fl_str_mv |
2011-02-02 2012-08-23 2019-07-09T16:45:14Z 2019-07-09T16:45:14Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
CONTAR, Thaisa de Souza. Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água. 2011. 79 f. Dissertação (Mestrado em Recursos Hídricos) - Universidade Federal de Mato Grosso, Faculdade de Arquitetura, Engenharia e Tecnologia, Cuiabá, 2011. http://ri.ufmt.br/handle/1/1214 |
identifier_str_mv |
CONTAR, Thaisa de Souza. Influência dos valores censurados na determinação da concentração média de variáveis de qualidade da água. 2011. 79 f. Dissertação (Mestrado em Recursos Hídricos) - Universidade Federal de Mato Grosso, Faculdade de Arquitetura, Engenharia e Tecnologia, Cuiabá, 2011. |
url |
http://ri.ufmt.br/handle/1/1214 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Mato Grosso Brasil Faculdade de Arquitetura, Engenharia e Tecnologia (FAET) UFMT CUC - Cuiabá Programa de Pós-Graduação em Recursos Hídricos |
publisher.none.fl_str_mv |
Universidade Federal de Mato Grosso Brasil Faculdade de Arquitetura, Engenharia e Tecnologia (FAET) UFMT CUC - Cuiabá Programa de Pós-Graduação em Recursos Hídricos |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMT instname:Universidade Federal de Mato Grosso (UFMT) instacron:UFMT |
instname_str |
Universidade Federal de Mato Grosso (UFMT) |
instacron_str |
UFMT |
institution |
UFMT |
reponame_str |
Repositório Institucional da UFMT |
collection |
Repositório Institucional da UFMT |
repository.name.fl_str_mv |
Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT) |
repository.mail.fl_str_mv |
jordanbiblio@gmail.com |
_version_ |
1804648495617933312 |