Quantile-based Recalibration of Artificial Neural Networks

Detalhes bibliográficos
Autor(a) principal: Reis, Ricardo Torres Bispo
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio2.unb.br/jspui/handle/10482/48885
Resumo: Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2023.
id UNB_66614ccb3eb47ce12b0084e4e16af842
oai_identifier_str oai:repositorio.unb.br:10482/48885
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Quantile-based Recalibration of Artificial Neural NetworksCalibraçãoIntervalo de confiançaQuantificação de incertezaDissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2023.Redes neurais artificiais são ferramentas poderosas, amplamente utilizadas atualmente para previsão e modelagem de dados. Embora venham se tornando cada vez mais poderosas, mel horias recentes vêm impactando negativamente sua calibração em prol de maior capacidade de previsão, tornando sua real confiança difícil de avaliar (Guo et al., 2017) – ou seja, a acurácia de suas previsões não corresponde à sua estimativa de confiança. Para ilustrar, considere um evento que ocorre 90% das vezes em um experimento aleatório infinito. Uma previsão para tal evento, realizada por um modelo bem calibrado, deveria então cair dentro de um intervalo de 90% de credibilidade cerca de 90% das vezes. Para mitigar este problema, propomos um método de pós-processamento baseado em quan tis para recalibração de redes neurais. O método explora a informação contida nas probabili dades acumuladas, pi = Fˆi(yi|xi), onde xi e yi representam, respectivamente, o i-ésiamo vetor de variáveis explicativas e a i-ésiama variável dependente de um conjunto de recalibração. Fˆi denota a distribuição preditiva acumulada da rede neural. Por meio do método proposto, é possível obter amostras de Monte Carlo da distribuição preditiva recalibrada.Artificial neural networks (ANN) are powerful tools for prediction and data modeling. Al though they are becoming ever more powerful, modern improvements have compromised their calibration in favor of enhanced prediction accuracy, thus making their true confidence harder to assess. To address this problem, we propose a new post-processing quantile-based method of recalibration for ANN. To illustrate the method’s mechanics we present two toy examples. In both, recalibration reduced the Mean Squared Error over the original uncalibrated models and provided a better representation of the data generative model. To further investigate the effects of the proposed recalibration procedure, we also present a simulation study comparing various parameter configurations – the recalibration successfully improved performance over the base models in all scenarios under consideration. At last, we apply the proposed method to a problem of diamond price prediction, where it was also able to improve the overall model performance.Instituto de Ciências Exatas (IE)Departamento de Estatística (IE EST)Programa de Pós-Graduação em EstatísticaRodrigues, Guilherme SouzaReis, Ricardo Torres Bispo2024-07-15T22:07:22Z2024-07-15T22:07:22Z2024-07-152023-03-01info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfREIS, Ricardo Torres Bispo. Quantile-based Recalibration of Artificial Neural Networks. 2023. 64 f., il. Dissertação (Mestrado em Estatística) - Universidade de Brasília, Brasília, 2023.http://repositorio2.unb.br/jspui/handle/10482/48885enginfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-07-15T22:07:22Zoai:repositorio.unb.br:10482/48885Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-07-15T22:07:22Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Quantile-based Recalibration of Artificial Neural Networks
title Quantile-based Recalibration of Artificial Neural Networks
spellingShingle Quantile-based Recalibration of Artificial Neural Networks
Reis, Ricardo Torres Bispo
Calibração
Intervalo de confiança
Quantificação de incerteza
title_short Quantile-based Recalibration of Artificial Neural Networks
title_full Quantile-based Recalibration of Artificial Neural Networks
title_fullStr Quantile-based Recalibration of Artificial Neural Networks
title_full_unstemmed Quantile-based Recalibration of Artificial Neural Networks
title_sort Quantile-based Recalibration of Artificial Neural Networks
author Reis, Ricardo Torres Bispo
author_facet Reis, Ricardo Torres Bispo
author_role author
dc.contributor.none.fl_str_mv Rodrigues, Guilherme Souza
dc.contributor.author.fl_str_mv Reis, Ricardo Torres Bispo
dc.subject.por.fl_str_mv Calibração
Intervalo de confiança
Quantificação de incerteza
topic Calibração
Intervalo de confiança
Quantificação de incerteza
description Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2023.
publishDate 2023
dc.date.none.fl_str_mv 2023-03-01
2024-07-15T22:07:22Z
2024-07-15T22:07:22Z
2024-07-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv REIS, Ricardo Torres Bispo. Quantile-based Recalibration of Artificial Neural Networks. 2023. 64 f., il. Dissertação (Mestrado em Estatística) - Universidade de Brasília, Brasília, 2023.
http://repositorio2.unb.br/jspui/handle/10482/48885
identifier_str_mv REIS, Ricardo Torres Bispo. Quantile-based Recalibration of Artificial Neural Networks. 2023. 64 f., il. Dissertação (Mestrado em Estatística) - Universidade de Brasília, Brasília, 2023.
url http://repositorio2.unb.br/jspui/handle/10482/48885
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1814508178776260608

Registros relacionados