Uma extensão à teoria da confiabilidade em Geodésia

Detalhes bibliográficos
Autor(a) principal: Rofatto, Vinicius Francisco
Data de Publicação: 2020
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/210640
Resumo: Há mais de meio século, a teoria da confiabilidade introduzida por Baarda (1968) tem sido usada como uma prática padrão para o controle de qualidade em geodésia. Embora atenda o rigor matemático e os pressupostos da probabilidade, a teoria foi originalmente desenvolvida para um Data-Snooping que considera uma específica observação como sendo um outlier. Na prática, não sabemos qual observação é um outlier. Se o objetivo do procedimento Data-Snooping é testar cada observação individual quanto à presença de um outlier, então uma hipótese alternativa mais apropriada seria: “Existe pelo menos um outlier nos dados observados”. Agora, estamos interessados em responder: “Onde?”. A resposta para tal pergunta recai sobre um problema de localizar dentre as hipóteses alternativas aquela que levou à rejeição da hipótese nula, ou seja, estamos interessados em identificar o outlier. Esse problema é conhecido como múltiplas hipóteses alternativas. Embora avanços tenham ocorrido ao longo desse período, as teorias apresentadas até o momento consideram apenas uma única rodada do Data-Snooping, sem qualquer diagnóstico subsequente, como a remoção do outlier. Na prática, entretanto, o Data-Snooping é aplicado de forma iterativa: após a identificação e a eliminação de um possível outlier, os dados são reprocessados e a identificação é reiniciada. Este procedimento é denominado de Data-Snooping Iterativo (DSI). O DSI é, portanto, um caso que envolve não somente múltiplas hipóteses alternativas, mas também múltiplas rodadas de estimação, teste e adaptação. Estimar os níveis de probabilidade associado com DSI é praticamente impossível por aqueles métodos analíticos usualmente empregados em procedimentos mais simples, por exemplo, o teste global do modelo e Data-Snooping de uma única hipótese alternativa. Por essa razão, uma rigorosa e completa teoria da confiabilidade não estava disponível até o momento. Embora grandes avanços tenham ocorrido em meados da década de 1970, como os computadores baseados em microprocessadores, Baarda tinha uma desvantagem: a tecnologia de sua época era insuficiente para que se utilizassem técnicas computacionais inteligentes. Hoje o cenário computacional é completamente diferente da época da teoria da confiabilidade de Baarda. Aqui, seguindo a tendência atual da ciência moderna, usamos o método de Monte Carlo e estendemos a teoria da confiabilidade para o DSI. Neste trabalho, demonstramos que a estimação depende do teste e da adaptação e, portanto, o DSI é, na verdade, um estimador. Até o presente momento, a escolha do número de simulações de Monte Carlo tem sido avaliada somente em função da precisão. Assim, levantou-se uma questão: como podemos encontrar um número ótimo de experimentos Monte Carlo em termos de acurácia? Aqui, usamos eventos com probabilidades conhecidas para avaliar a acurácia do Método de Monte Carlo. Os resultados mostraram que, dentre os números de experimentos testados, m = 200, 000 forneceu suficiente precisão numérica, com erro relativo menor que 0.1%. A estatística de teste associada ao DSI é o valor extremo dos resíduos dos mínimos quadrados normalizados. É bem conhecido na literatura que valores críticos desse teste não podem ser derivados de distribuições conhecidas, mas devem ser calculados numericamente por meio do método de Monte Carlo. Este trabalho fornece os primeiros resultados sobre o valor crítico baseado em Monte Carlo inserido em diferentes cenários de correlação entre as estatísticas de teste. Testamos se o aumento do nível de significância conjunto, ou redução do valor crítico, melhora a identificabilidade do outlier. Os resultados mostraram que quanto menor o valor crítico, ou maior o nível de significância conjunto, maior é a probabilidade de correta detecção, e menor é o MDB. Porém, essa relação não é válida em termos de identificação. Observamos que, quando o efeito de todas as observações na taxa de falsa exclusão (Erro Tipo III) diminui, é possível encontrar o menor outlier identificável (MIB). A razão disso é que o efeito da correlação entre os resíduos torna-se insignificante para uma certa magnitude de outlier, o que aumenta a probabilidade da correta identificação.
id URGS_bbde2ef7b733eb8a717358a76ccb4ed8
oai_identifier_str oai:www.lume.ufrgs.br:10183/210640
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Rofatto, Vinicius FranciscoMatsuoka, Marcelo TomioKlein, Ivandro2020-06-25T03:33:39Z2020http://hdl.handle.net/10183/210640001115436Há mais de meio século, a teoria da confiabilidade introduzida por Baarda (1968) tem sido usada como uma prática padrão para o controle de qualidade em geodésia. Embora atenda o rigor matemático e os pressupostos da probabilidade, a teoria foi originalmente desenvolvida para um Data-Snooping que considera uma específica observação como sendo um outlier. Na prática, não sabemos qual observação é um outlier. Se o objetivo do procedimento Data-Snooping é testar cada observação individual quanto à presença de um outlier, então uma hipótese alternativa mais apropriada seria: “Existe pelo menos um outlier nos dados observados”. Agora, estamos interessados em responder: “Onde?”. A resposta para tal pergunta recai sobre um problema de localizar dentre as hipóteses alternativas aquela que levou à rejeição da hipótese nula, ou seja, estamos interessados em identificar o outlier. Esse problema é conhecido como múltiplas hipóteses alternativas. Embora avanços tenham ocorrido ao longo desse período, as teorias apresentadas até o momento consideram apenas uma única rodada do Data-Snooping, sem qualquer diagnóstico subsequente, como a remoção do outlier. Na prática, entretanto, o Data-Snooping é aplicado de forma iterativa: após a identificação e a eliminação de um possível outlier, os dados são reprocessados e a identificação é reiniciada. Este procedimento é denominado de Data-Snooping Iterativo (DSI). O DSI é, portanto, um caso que envolve não somente múltiplas hipóteses alternativas, mas também múltiplas rodadas de estimação, teste e adaptação. Estimar os níveis de probabilidade associado com DSI é praticamente impossível por aqueles métodos analíticos usualmente empregados em procedimentos mais simples, por exemplo, o teste global do modelo e Data-Snooping de uma única hipótese alternativa. Por essa razão, uma rigorosa e completa teoria da confiabilidade não estava disponível até o momento. Embora grandes avanços tenham ocorrido em meados da década de 1970, como os computadores baseados em microprocessadores, Baarda tinha uma desvantagem: a tecnologia de sua época era insuficiente para que se utilizassem técnicas computacionais inteligentes. Hoje o cenário computacional é completamente diferente da época da teoria da confiabilidade de Baarda. Aqui, seguindo a tendência atual da ciência moderna, usamos o método de Monte Carlo e estendemos a teoria da confiabilidade para o DSI. Neste trabalho, demonstramos que a estimação depende do teste e da adaptação e, portanto, o DSI é, na verdade, um estimador. Até o presente momento, a escolha do número de simulações de Monte Carlo tem sido avaliada somente em função da precisão. Assim, levantou-se uma questão: como podemos encontrar um número ótimo de experimentos Monte Carlo em termos de acurácia? Aqui, usamos eventos com probabilidades conhecidas para avaliar a acurácia do Método de Monte Carlo. Os resultados mostraram que, dentre os números de experimentos testados, m = 200, 000 forneceu suficiente precisão numérica, com erro relativo menor que 0.1%. A estatística de teste associada ao DSI é o valor extremo dos resíduos dos mínimos quadrados normalizados. É bem conhecido na literatura que valores críticos desse teste não podem ser derivados de distribuições conhecidas, mas devem ser calculados numericamente por meio do método de Monte Carlo. Este trabalho fornece os primeiros resultados sobre o valor crítico baseado em Monte Carlo inserido em diferentes cenários de correlação entre as estatísticas de teste. Testamos se o aumento do nível de significância conjunto, ou redução do valor crítico, melhora a identificabilidade do outlier. Os resultados mostraram que quanto menor o valor crítico, ou maior o nível de significância conjunto, maior é a probabilidade de correta detecção, e menor é o MDB. Porém, essa relação não é válida em termos de identificação. Observamos que, quando o efeito de todas as observações na taxa de falsa exclusão (Erro Tipo III) diminui, é possível encontrar o menor outlier identificável (MIB). A razão disso é que o efeito da correlação entre os resíduos torna-se insignificante para uma certa magnitude de outlier, o que aumenta a probabilidade da correta identificação.For more than half a century, the reliability theory introduced by Baarda (1968) has been used as a standard practice for quality control in geodesy and surveying. Although the theory meets mathematical rigor and probability assumptions, it was originally developed for a Data-Snooping which assumes a specific observation as a suspect outlier. In other words, only one single alternative hypothesis is in play. Actually, we do not know which observation is an outlier. Since the Data-Snooping consists of screening each individual measurement for an outlier, a more appropriate alternative hypothesis would be: “There is at least one outlier in the observations”. Now, we are interested to answer: “Where?”. The answer to this question lies in a problem of locating among the alternative hypotheses the one that led to the rejection of the null hypothesis. Therefore, we are interested in identifying the outlier. Although advances have occurred over that period, the theories presented so far consider only one single round of the Data-Snooping procedure, without any subsequent diagnosis, such as removing the outlier. In fact, however, Data-Snooping is applied iteratively: after identification and elimination of the outlier, the model is reprocessed, and outlier identification is restarted. This procedure of iterative outlier elimination is known as Iterative Data-Snooping (IDS). Computing the probability levels associated with IDS is virtually impossible to those analytical methods usually employed in conventional tests, such as, overall model test and Data-Snooping of only one single alternative hypothesis. Because of this, a rigorous and complete reliability theory was not yet available. Although major advances occurred in the mid-1970s, such as microprocessorbased computers, Baarda had a disadvantage: the technology of his time was insufficient to use intelligent computational techniques. Today, the computational scenario is completely different from the time of Baarda’s theory of reliability. Here, following the current trend of modern science, we can use intelligent computing and extend the reliability theory when the DSI is in play. We show that the estimation depends on the test and the adaptation and, therefore, the IDS is, in fact, an estimator. Until the present, no study has been conducted to evaluate empirically the accuracy of the Monte Carlo for quality control purposes in geodesy. Generally, only the degree of dispersion of the Monte Carlo is considered. Thus, an issue remains: how can we find the optimal number of Monte Carlo experiments for quality control purpose? Here, we use an exact theoretical reference probabilities to answer this question. We find that that the number of experiments m = 200, 000 can provide consistent results with sufficient numerical precision for outlier identification, with a relative error less than 0.1%. The test statistic associated with IDS is the extreme normalised least-squares residual. It is well-known in the literature that critical values (quantile values) of such a test statistic cannot be derived from well-known test distributions but must be computed numerically by means of Monte Carlo. This paper provides the first results on the Monte Carlo-based critical value inserted into different scenarios of correlation between outlier statistics. We also tested whether increasing the level of the family-wise error rate, or reducing the critical values, improves the identifiability of the outlier. The results showed that the lower critical value, or the higher the family-wise error rate, the larger the probability of correct detection, and the smaller the MDB. However, this relationship is not valid in terms of identification. We also highlight that an outlier becomes identifiable when the contributions of the observations to the wrong exclusion rate (Type III error) decline simultaneously. In this case, we verify that the effect of the correlation between outlier statistics on the wrong exclusion rate becomes insignificant for a certain outlier magnitude, which increases the probability of identification.application/pdfporSensoriamento remotoProbabilidadeControle de qualidadeOutliersConfiabilidadeTestes de hipótesesProbabilityHypothesis TestingOutlier DetectionStochastic SimulationRandom Number GeneratorMonte CarloQuality ControlReliabilityUma extensão à teoria da confiabilidade em Geodésiainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulCentro Estadual de Pesquisas em Sensoriamento Remoto e MeteorologiaPrograma de Pós-Graduação em Sensoriamento RemotoPorto Alegre, BR-RS2020doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001115436.pdf.txt001115436.pdf.txtExtracted Texttext/plain489137http://www.lume.ufrgs.br/bitstream/10183/210640/2/001115436.pdf.txt33a16df435b9c899a4bc1f0dee4c4dd8MD52ORIGINAL001115436.pdfTexto completoapplication/pdf18219654http://www.lume.ufrgs.br/bitstream/10183/210640/1/001115436.pdf969b2e3cd8018d8be7b0963d07b1dedcMD5110183/2106402020-06-26 03:33:08.099825oai:www.lume.ufrgs.br:10183/210640Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532020-06-26T06:33:08Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Uma extensão à teoria da confiabilidade em Geodésia
title Uma extensão à teoria da confiabilidade em Geodésia
spellingShingle Uma extensão à teoria da confiabilidade em Geodésia
Rofatto, Vinicius Francisco
Sensoriamento remoto
Probabilidade
Controle de qualidade
Outliers
Confiabilidade
Testes de hipóteses
Probability
Hypothesis Testing
Outlier Detection
Stochastic Simulation
Random Number Generator
Monte Carlo
Quality Control
Reliability
title_short Uma extensão à teoria da confiabilidade em Geodésia
title_full Uma extensão à teoria da confiabilidade em Geodésia
title_fullStr Uma extensão à teoria da confiabilidade em Geodésia
title_full_unstemmed Uma extensão à teoria da confiabilidade em Geodésia
title_sort Uma extensão à teoria da confiabilidade em Geodésia
author Rofatto, Vinicius Francisco
author_facet Rofatto, Vinicius Francisco
author_role author
dc.contributor.author.fl_str_mv Rofatto, Vinicius Francisco
dc.contributor.advisor1.fl_str_mv Matsuoka, Marcelo Tomio
dc.contributor.advisor-co1.fl_str_mv Klein, Ivandro
contributor_str_mv Matsuoka, Marcelo Tomio
Klein, Ivandro
dc.subject.por.fl_str_mv Sensoriamento remoto
Probabilidade
Controle de qualidade
Outliers
Confiabilidade
Testes de hipóteses
topic Sensoriamento remoto
Probabilidade
Controle de qualidade
Outliers
Confiabilidade
Testes de hipóteses
Probability
Hypothesis Testing
Outlier Detection
Stochastic Simulation
Random Number Generator
Monte Carlo
Quality Control
Reliability
dc.subject.eng.fl_str_mv Probability
Hypothesis Testing
Outlier Detection
Stochastic Simulation
Random Number Generator
Monte Carlo
Quality Control
Reliability
description Há mais de meio século, a teoria da confiabilidade introduzida por Baarda (1968) tem sido usada como uma prática padrão para o controle de qualidade em geodésia. Embora atenda o rigor matemático e os pressupostos da probabilidade, a teoria foi originalmente desenvolvida para um Data-Snooping que considera uma específica observação como sendo um outlier. Na prática, não sabemos qual observação é um outlier. Se o objetivo do procedimento Data-Snooping é testar cada observação individual quanto à presença de um outlier, então uma hipótese alternativa mais apropriada seria: “Existe pelo menos um outlier nos dados observados”. Agora, estamos interessados em responder: “Onde?”. A resposta para tal pergunta recai sobre um problema de localizar dentre as hipóteses alternativas aquela que levou à rejeição da hipótese nula, ou seja, estamos interessados em identificar o outlier. Esse problema é conhecido como múltiplas hipóteses alternativas. Embora avanços tenham ocorrido ao longo desse período, as teorias apresentadas até o momento consideram apenas uma única rodada do Data-Snooping, sem qualquer diagnóstico subsequente, como a remoção do outlier. Na prática, entretanto, o Data-Snooping é aplicado de forma iterativa: após a identificação e a eliminação de um possível outlier, os dados são reprocessados e a identificação é reiniciada. Este procedimento é denominado de Data-Snooping Iterativo (DSI). O DSI é, portanto, um caso que envolve não somente múltiplas hipóteses alternativas, mas também múltiplas rodadas de estimação, teste e adaptação. Estimar os níveis de probabilidade associado com DSI é praticamente impossível por aqueles métodos analíticos usualmente empregados em procedimentos mais simples, por exemplo, o teste global do modelo e Data-Snooping de uma única hipótese alternativa. Por essa razão, uma rigorosa e completa teoria da confiabilidade não estava disponível até o momento. Embora grandes avanços tenham ocorrido em meados da década de 1970, como os computadores baseados em microprocessadores, Baarda tinha uma desvantagem: a tecnologia de sua época era insuficiente para que se utilizassem técnicas computacionais inteligentes. Hoje o cenário computacional é completamente diferente da época da teoria da confiabilidade de Baarda. Aqui, seguindo a tendência atual da ciência moderna, usamos o método de Monte Carlo e estendemos a teoria da confiabilidade para o DSI. Neste trabalho, demonstramos que a estimação depende do teste e da adaptação e, portanto, o DSI é, na verdade, um estimador. Até o presente momento, a escolha do número de simulações de Monte Carlo tem sido avaliada somente em função da precisão. Assim, levantou-se uma questão: como podemos encontrar um número ótimo de experimentos Monte Carlo em termos de acurácia? Aqui, usamos eventos com probabilidades conhecidas para avaliar a acurácia do Método de Monte Carlo. Os resultados mostraram que, dentre os números de experimentos testados, m = 200, 000 forneceu suficiente precisão numérica, com erro relativo menor que 0.1%. A estatística de teste associada ao DSI é o valor extremo dos resíduos dos mínimos quadrados normalizados. É bem conhecido na literatura que valores críticos desse teste não podem ser derivados de distribuições conhecidas, mas devem ser calculados numericamente por meio do método de Monte Carlo. Este trabalho fornece os primeiros resultados sobre o valor crítico baseado em Monte Carlo inserido em diferentes cenários de correlação entre as estatísticas de teste. Testamos se o aumento do nível de significância conjunto, ou redução do valor crítico, melhora a identificabilidade do outlier. Os resultados mostraram que quanto menor o valor crítico, ou maior o nível de significância conjunto, maior é a probabilidade de correta detecção, e menor é o MDB. Porém, essa relação não é válida em termos de identificação. Observamos que, quando o efeito de todas as observações na taxa de falsa exclusão (Erro Tipo III) diminui, é possível encontrar o menor outlier identificável (MIB). A razão disso é que o efeito da correlação entre os resíduos torna-se insignificante para uma certa magnitude de outlier, o que aumenta a probabilidade da correta identificação.
publishDate 2020
dc.date.accessioned.fl_str_mv 2020-06-25T03:33:39Z
dc.date.issued.fl_str_mv 2020
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/210640
dc.identifier.nrb.pt_BR.fl_str_mv 001115436
url http://hdl.handle.net/10183/210640
identifier_str_mv 001115436
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/210640/2/001115436.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/210640/1/001115436.pdf
bitstream.checksum.fl_str_mv 33a16df435b9c899a4bc1f0dee4c4dd8
969b2e3cd8018d8be7b0963d07b1dedc
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1816737016988041216