Análise do problema de compressão da informação em redes neurais

Detalhes bibliográficos
Autor(a) principal: Zarpellon, Fernando, 1990-
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/6653
Resumo: Orientador: Romis Ribeiro de Faissol Attux
id UNICAMP-30_0368793494eeceed4dbf249387b8219d
oai_identifier_str oai::1256465
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Análise do problema de compressão da informação em redes neuraisAnalysis of the information compression problem in neural networksTeoria da informaçãoAprendizado profundoInformation theoryDeep learningOrientador: Romis Ribeiro de Faissol AttuxDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: A teoria de aprendizagem profunda por restrição de informação, IBDL (do inglês, Information Bottleneck theory of Deep Learning), afirma que uma rede neural artificial profunda (DNN), através dos conceitos da teoria da informação, pode ser interpretada como uma cadeia de Markov, e, através da desigualdade de processamento de informação (DPI) pode-se analisar a representação latente formada na rede ao longo do processo de treinamento, através da informação mútua destas camadas utilizando o plano de informação (IP). Esta tese tem como objetivo investigar a aplicação desta teoria em problemas de regressão, uma vez que a literatura presente até o momento se faz escassa em aplicações desta natureza. Para tal, estabelecemos uma tarefa de regressão formalizada através do problema de separação de fontes supervisionada, onde buscamos a reconstrução dos sinais de fonte. Para desenvolver a análise do problema é necessária a estimação das medidas de informação como entropia e informação mútua, este processo é realizado utilizando o estimador discreto, que se baseia na estimação através de distribuições de probabilidade obtidas por meio de histogramas (discretização – binning), um método simples, extremamente eficiente computacionalmente e que vem sendo utilizado com certa frequência pelos trabalhos da área. Através dos resultados observados nos planos de informação e das projeções latentes da rede, estabelecemos algumas relações sobre o fenômeno de compressão e expansão da informação mútua que descreve tais representações segundo a teoria IBDL. Além disto, analisamos o impacto das não-linearidades utilizadas em redes profundas na dinâmica de treinamento da rede e na formação destas representações. Os resultados indicam que as redes neurais quando aplicadas em problemas de regressão, seguem as relações estabelecidas pela DPI segundo a formulação do IBDL, bem como apresentaram convergem para os limites teóricos também estabelecidos na formulação do problema. Associamos esta convergência à forma como a rede neural opera em termos de capacidade de processamento, utilizando uma parcela ou a totalidade da capacidade disponível de sua estrutura: esse comportamento influencia na formação da representação latente criada durante o processo de treinamento em conjunto com as não linearidades utilizadas. Por fim, constatamos a viabilidade do estudo das redes neurais aplicadas a problemas de regressão utilizando os conceitos estabelecidos na literatura sobre a teoria IBDL, largamente aplicada a problemas de classificação até o presente momento. Dessa forma, este trabalho contribui para o enriquecimento da discussão a respeito da intepretação de redes neurais através da teoria da informaçãoAbstract: The Information Bottleneck theory of Deep Learning (IBDL) states that a deep neural network (DNN), through the concepts of information theory, generates a successive Markov chain and through de data processing inequality (DPI) the training process of a neural networks and the latent representation formed can be analyzed through the information plane (IP). This thesis aims to investigate the application of the IBDL on regression problems. For this task we formalized the regression problem as a supervised source separation where the objective is to reconstruct one of the sources signals. To develop the analyses, it is necessary to quantify information measures as entropy and mutual information, for that we use the binning method for discretization of the continuous random variables, a simple and efficient method widely applied in the resent literature about this subject. Through the observed results in the information plane and the inner neurons projection we stablish some relationships about the phenomenon of compression and expansion of the mutual information that describes the latent representation of the deep networks, and the impact of nonlinearities commonly used in deep learning on the dynamics of network training. The results indicate that the neural networks follow the relationships stablished by the DPI as well converge to the theoretical limits. We associate this convergence to the way the neural network operates in terms of processing capacity, using a portion or all the available capacity, this behavior associated with the nonlinearities influences the formation of the latent representation created during the training process. Finally, we verify the feasibility of the extension and application of the IBDL method, widely applied in classification problems to regression problemsMestradoEngenharia de ComputaçãoMestre em Engenharia ElétricaCNPQ158180/2019-4[s.n.]Attux, Romis Ribeiro de Faissol, 1978-Gazzoni, Wanessa CarlaBoccato, LevyUniversidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de ComputaçãoPrograma de Pós-Graduação em Engenharia ElétricaUNIVERSIDADE ESTADUAL DE CAMPINASZarpellon, Fernando, 1990-20222022-10-11T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf1 recurso online (111 p.) : il., digital, arquivo PDF.https://hdl.handle.net/20.500.12733/6653ZARPELLON, Fernando. Análise do problema de compressão da informação em redes neurais. 2022. 1 recurso online (111 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6653. Acesso em: 3 set. 2024.https://repositorio.unicamp.br/acervo/detalhe/1256465Requisitos do sistema: Software para leitura de arquivo em PDFporreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2022-12-01T09:48:30Zoai::1256465Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2022-12-01T09:48:30Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Análise do problema de compressão da informação em redes neurais
Analysis of the information compression problem in neural networks
title Análise do problema de compressão da informação em redes neurais
spellingShingle Análise do problema de compressão da informação em redes neurais
Zarpellon, Fernando, 1990-
Teoria da informação
Aprendizado profundo
Information theory
Deep learning
title_short Análise do problema de compressão da informação em redes neurais
title_full Análise do problema de compressão da informação em redes neurais
title_fullStr Análise do problema de compressão da informação em redes neurais
title_full_unstemmed Análise do problema de compressão da informação em redes neurais
title_sort Análise do problema de compressão da informação em redes neurais
author Zarpellon, Fernando, 1990-
author_facet Zarpellon, Fernando, 1990-
author_role author
dc.contributor.none.fl_str_mv Attux, Romis Ribeiro de Faissol, 1978-
Gazzoni, Wanessa Carla
Boccato, Levy
Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação
Programa de Pós-Graduação em Engenharia Elétrica
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Zarpellon, Fernando, 1990-
dc.subject.por.fl_str_mv Teoria da informação
Aprendizado profundo
Information theory
Deep learning
topic Teoria da informação
Aprendizado profundo
Information theory
Deep learning
description Orientador: Romis Ribeiro de Faissol Attux
publishDate 2022
dc.date.none.fl_str_mv 2022
2022-10-11T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/6653
ZARPELLON, Fernando. Análise do problema de compressão da informação em redes neurais. 2022. 1 recurso online (111 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6653. Acesso em: 3 set. 2024.
url https://hdl.handle.net/20.500.12733/6653
identifier_str_mv ZARPELLON, Fernando. Análise do problema de compressão da informação em redes neurais. 2022. 1 recurso online (111 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6653. Acesso em: 3 set. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/1256465
Requisitos do sistema: Software para leitura de arquivo em PDF
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
1 recurso online (111 p.) : il., digital, arquivo PDF.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1809189185819508736

Registros relacionados