Modeling copulas with Bayesian networks

Detalhes bibliográficos
Autor(a) principal: Júnior, Willian Darwin
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/18/18153/tde-23032021-200921/
Resumo: Bayesian networks are extensively studied in machine learning and there is a significant growing interest on copulas in scientific literature beyond Statistics, but it is still uncommon to join those conceptual artifacts. Our research proposes an initial stage approach for combining those concepts in probabilistic modeling by splitting the model in two coupled elements, individual marginal distributions and a copula, reserving the Bayesian network modeling only to the copula portion and liberating the marginal distributions modeling to be done by any chosen strategy according to the data, without interfering in the dependence modeling. We compared two different marginal modeling techniques for the first stage of the modeling: a standard Bayesian inference using Mont Carlo Markov chain (MCMC) and a sample reducing. The results showed good performance in both cases in the sense of preserving the same structure scoring tendency as the traditional approach for discrete Bayesian networks and pointed to the viability of modeling copulas using Bayesian networks for samples with enough number of instances, which was the premise of this research. For helping in the data analysis stage of the methodology, a general data analysis and visualization software tool, designated LPSCopModel, was developed for providing variables description and concordance indexes, MCMC parametric distribution fitting and an empirical copula profile as a first glance at the dependence structure.
id USP_3e12fae32798bc774005c12222d83475
oai_identifier_str oai:teses.usp.br:tde-23032021-200921
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Modeling copulas with Bayesian networksModelagem de cópulas por meio de redes bayesianasBayesian inferenceBayesian networkcopulacópulacópula empíricaempirical copulainferência bayesianaMCMCMCMCnon-linear normalizationnormalização não-linearrede bayesianaredução amostralsample reducingBayesian networks are extensively studied in machine learning and there is a significant growing interest on copulas in scientific literature beyond Statistics, but it is still uncommon to join those conceptual artifacts. Our research proposes an initial stage approach for combining those concepts in probabilistic modeling by splitting the model in two coupled elements, individual marginal distributions and a copula, reserving the Bayesian network modeling only to the copula portion and liberating the marginal distributions modeling to be done by any chosen strategy according to the data, without interfering in the dependence modeling. We compared two different marginal modeling techniques for the first stage of the modeling: a standard Bayesian inference using Mont Carlo Markov chain (MCMC) and a sample reducing. The results showed good performance in both cases in the sense of preserving the same structure scoring tendency as the traditional approach for discrete Bayesian networks and pointed to the viability of modeling copulas using Bayesian networks for samples with enough number of instances, which was the premise of this research. For helping in the data analysis stage of the methodology, a general data analysis and visualization software tool, designated LPSCopModel, was developed for providing variables description and concordance indexes, MCMC parametric distribution fitting and an empirical copula profile as a first glance at the dependence structure.Redes bayesianas vem sendo extensivamente estudadas em Aprendizado de Máquina e há um significativo crescimento no interesse por cópulas na literartura científica além da Estatística, porém ainda é rara a junção desses dois artefatos conceituais. Nossa pesquisa propõe uma abordagem em estágio inicial para combinar esses dois conceitos de modelagem probabilística pela separação do modelo em dois elementos acoplados, as distribuições marginais individuais e uma cópula, reservando a modelagem por redes bayesianas apenas para a parte relativa à cópula e liberando a modelagem das distribuições marginais para ser feita por qualquer estratégia escolhida conforme o\'s dados, sem que isso interfira na modelagem das dependências. Nós comparamos duas técnicas para a modelagem das distribuições marginais para o primeiro estágio da modelagem: inferência bayesiana padrão usando Monte Carlo Markov chain (MCMC) e redução amostral (\"sample reducing\"). Os resultados mostraram um bom desempenho em ambos os casos no sentido de preservar a mesma tendência para a avaliação de estruturas que apresentada pela abordagem tradicional de redes bayesianas discretas e apontou para a viabilidade de modelar cópulas usando redes bayesianas para amostras com número suficiente de instâncias, que foi uma das premissas dessa pesquisa. Para auxiliar no estágio de análise dos dados, uma aplicação de análise e visualização geral de dados, denominada LPSCopModel, foi desenvolvida para prover uma descrição das variáveis e índices de concordância, um ajuste paramétrico de distribuições usando MCMC e um primeiro vislumbre da estrutura de dependências a partir de uma cópula empírica.Biblioteca Digitais de Teses e Dissertações da USPMaciel, Carlos DiasJúnior, Willian Darwin2021-02-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/18/18153/tde-23032021-200921/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-06-22T00:14:02Zoai:teses.usp.br:tde-23032021-200921Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-06-22T00:14:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Modeling copulas with Bayesian networks
Modelagem de cópulas por meio de redes bayesianas
title Modeling copulas with Bayesian networks
spellingShingle Modeling copulas with Bayesian networks
Júnior, Willian Darwin
Bayesian inference
Bayesian network
copula
cópula
cópula empírica
empirical copula
inferência bayesiana
MCMC
MCMC
non-linear normalization
normalização não-linear
rede bayesiana
redução amostral
sample reducing
title_short Modeling copulas with Bayesian networks
title_full Modeling copulas with Bayesian networks
title_fullStr Modeling copulas with Bayesian networks
title_full_unstemmed Modeling copulas with Bayesian networks
title_sort Modeling copulas with Bayesian networks
author Júnior, Willian Darwin
author_facet Júnior, Willian Darwin
author_role author
dc.contributor.none.fl_str_mv Maciel, Carlos Dias
dc.contributor.author.fl_str_mv Júnior, Willian Darwin
dc.subject.por.fl_str_mv Bayesian inference
Bayesian network
copula
cópula
cópula empírica
empirical copula
inferência bayesiana
MCMC
MCMC
non-linear normalization
normalização não-linear
rede bayesiana
redução amostral
sample reducing
topic Bayesian inference
Bayesian network
copula
cópula
cópula empírica
empirical copula
inferência bayesiana
MCMC
MCMC
non-linear normalization
normalização não-linear
rede bayesiana
redução amostral
sample reducing
description Bayesian networks are extensively studied in machine learning and there is a significant growing interest on copulas in scientific literature beyond Statistics, but it is still uncommon to join those conceptual artifacts. Our research proposes an initial stage approach for combining those concepts in probabilistic modeling by splitting the model in two coupled elements, individual marginal distributions and a copula, reserving the Bayesian network modeling only to the copula portion and liberating the marginal distributions modeling to be done by any chosen strategy according to the data, without interfering in the dependence modeling. We compared two different marginal modeling techniques for the first stage of the modeling: a standard Bayesian inference using Mont Carlo Markov chain (MCMC) and a sample reducing. The results showed good performance in both cases in the sense of preserving the same structure scoring tendency as the traditional approach for discrete Bayesian networks and pointed to the viability of modeling copulas using Bayesian networks for samples with enough number of instances, which was the premise of this research. For helping in the data analysis stage of the methodology, a general data analysis and visualization software tool, designated LPSCopModel, was developed for providing variables description and concordance indexes, MCMC parametric distribution fitting and an empirical copula profile as a first glance at the dependence structure.
publishDate 2021
dc.date.none.fl_str_mv 2021-02-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/18/18153/tde-23032021-200921/
url https://www.teses.usp.br/teses/disponiveis/18/18153/tde-23032021-200921/
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815257296404480000