Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas

Detalhes bibliográficos
Autor(a) principal: Alves, Vinicius Domingos
Data de Publicação: 2022
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/232340
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Elétrica.
id UFSC_5cc06096521a23225a09e5b0fab46ed4
oai_identifier_str oai:repositorio.ufsc.br:123456789/232340
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias GenerativasAprendizado de MáquinaModelos GeradoresRedes Adversárias GenerativasGANDCGANTCC (graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Elétrica.A recente evolução notória no campo de \textit{Machine Learning} tem demonstrado a relevância na capacidade de modelos em extrair características e internalizar eficientemente representações de espaços complexos e de alta dimensionalidade como imagens, áudio e linguagem natural. Nesse âmbito, a pesquisa em torno de modelos profundos não-supervisionados constitui uma importante fronteira tecnológica, sendo os resultados relevantes para todo o espectro de aplicações do campo. Em 2014 com a introdução das Redes Adversárias Generativas (GANs), e sua posterior evolução, as Redes Profundas Convolucionais Adversárias Generativas (DCGANs), obteve-se um progresso significativo na capacidade de geração de imagens. No entanto, embora essa subclasse de modelos geradores apresente performances sem precedentes, treiná-las continua sendo um desafio árduo para pesquisadores e desenvolvedores na indústria. Parte significativa da literatura sobre GANs se dedica ao estudo de arquiteturas, técnicas de treinamento e heurísticas para o ajuste de hiperparâmetros, com o objetivo de aumentar a estabilidade do treinamento, assim como obter melhores performances. Esse trabalho se dedica a explorar o impacto do ajuste de hiperparâmetros arquiteturais na estabilidade e performance do treinamento de DCGANs. Para tanto, propõe-se uma metaparametrização da arquitetura de uma DCGAN e desenvolve-se um estudo empírico do impacto na performance dos modelos treinados com diferentes combinações de características arquiteturais descritas pela metaparametrização. Conclui-se que a progressão das dimensões das camadas convolucionais apresenta potencial de otimização relevante; no entanto, altamente dependente do \textit{dataset}, o que inviabiliza qualquer prescrição quantitativa. Por outro lado, a distribuição dos filtros ao longos das camadas, apesar de apresentar baixo potencial de otimização, apresentou resultados consistentes a medida em a distribuição se aproxima de uma curva linear. E, por fim, o ajuste da profundidade assim como da complexidade apresentam os maiores potenciais de otimização, superiores a 50\% e 20\%, respectivamente, e que a otimização arquitetural, embora relevante, deve ser feita em conjunto com a otimização dos hiperparâmetros de treinamento, sendo esses primordiais para a estabilização da maioria dos ajustes arquiteturais testados.The recent notorious evolution in the field of Machine Learning has demonstrated the relevance of feature extraction and the efficient internal representation of complex high dimensional spaces like images, audio and natural language. On this context, the research of deep non-supervised models are an important technological frontier to achieve these capabilities. With the introduction of GANs in 2014, and afterwards DCGANs, a significative improvement was obtained in the field of image generation. Nevertheless, despite this new subclass presented an unprecedented performance, it's training continues to be a challenging task for researchers and practitioners in the industry. A significative part of the GANs related literature is dedicated to the study of architectures, training techniques and heuristics to adjust hyperparameters in order to increase training stability and the model's performance. The goal of this work is to explore the impact of the adjustment of architectural hyperparameters on the stability of DCGANs training as well as on their performance. It is, therefore, proposed a metaparametrization of the DCGAN architecture which encodes and gives control over notable aspects of the DCGAN architecture, enabling an empirical study of the performance impact of models trained with different architectural characteristics described by the metaparametrization. The study concluded that the progression of the convolutional layers dimensions present a relevant potential of optimization although heavily dependent on the dataset, which impossibilitates any quantitative prescription. On the other hand, the progression of the number of filters throughout the convolutional layers, despite the low optimization potential, has presented consistent results for distributions closer to a linear curve. At last, the depth and complexity adjustments presented the highest optimization potentials, over 50\% and 20\%, respectively. It was also noted that the optimization of training hyperparameters should always be done in conjunction to the architectural optimization, as most architectural combinations tested were initially unstable.Florianópolis, SCSilva, DaniloUniversidade Federal de Santa CatarinaAlves, Vinicius Domingos2022-03-17T17:20:52Z2022-03-17T17:20:52Z2022-03-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttps://repositorio.ufsc.br/handle/123456789/232340info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2022-03-17T17:20:53Zoai:repositorio.ufsc.br:123456789/232340Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732022-03-17T17:20:53Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
title Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
spellingShingle Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
Alves, Vinicius Domingos
Aprendizado de Máquina
Modelos Geradores
Redes Adversárias Generativas
GAN
DCGAN
title_short Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
title_full Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
title_fullStr Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
title_full_unstemmed Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
title_sort Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas
author Alves, Vinicius Domingos
author_facet Alves, Vinicius Domingos
author_role author
dc.contributor.none.fl_str_mv Silva, Danilo
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Alves, Vinicius Domingos
dc.subject.por.fl_str_mv Aprendizado de Máquina
Modelos Geradores
Redes Adversárias Generativas
GAN
DCGAN
topic Aprendizado de Máquina
Modelos Geradores
Redes Adversárias Generativas
GAN
DCGAN
description TCC (graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Elétrica.
publishDate 2022
dc.date.none.fl_str_mv 2022-03-17T17:20:52Z
2022-03-17T17:20:52Z
2022-03-11
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/232340
url https://repositorio.ufsc.br/handle/123456789/232340
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC
publisher.none.fl_str_mv Florianópolis, SC
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652077551845376

Registros relacionados