[pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA

Detalhes bibliográficos
Autor(a) principal: DANIELA DE MATTOS SZWARCMAN
Data de Publicação: 2020
Tipo de documento: Outros
Idioma: eng
Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@2
http://doi.org/10.17771/PUCRio.acad.49066
Resumo: [pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa.
id PUC_RIO-1_4ab66afb8315e585813ffd89b4f6366b
oai_identifier_str oai:MAXWELL.puc-rio.br:49066
network_acronym_str PUC_RIO-1
network_name_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository_id_str 534
spelling [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH [pt] NEUROEVOLUCAO[pt] ALGORITMOS DE INSPIRACAO QUANTICA[pt] BUSCA DE ARQUITETURAS NEURAIS[pt] REDES NEURAIS CONVOLUCIONAIS[en] NEUROEVOLUTION[en] QUANTUM INSPIRED ALGORITHMS[en] NEURAL ARCHITECTURE SEARCH[en] CONVOLUTIONAL NEURAL NETWORKS[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa.[en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.MAXWELLMARLEY MARIA BERNARDES REBUZZI VELLASCOMARLEY MARIA BERNARDES REBUZZI VELLASCODANIELA DE MATTOS SZWARCMAN2020-08-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/otherhttps://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@1https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@2http://doi.org/10.17771/PUCRio.acad.49066engreponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)instacron:PUC_RIOinfo:eu-repo/semantics/openAccess2022-08-29T00:00:00Zoai:MAXWELL.puc-rio.br:49066Repositório InstitucionalPRIhttps://www.maxwell.vrac.puc-rio.br/ibict.phpopendoar:5342022-08-29T00:00Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)false
dc.title.none.fl_str_mv [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
[en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH
title [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
spellingShingle [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
DANIELA DE MATTOS SZWARCMAN
[pt] NEUROEVOLUCAO
[pt] ALGORITMOS DE INSPIRACAO QUANTICA
[pt] BUSCA DE ARQUITETURAS NEURAIS
[pt] REDES NEURAIS CONVOLUCIONAIS
[en] NEUROEVOLUTION
[en] QUANTUM INSPIRED ALGORITHMS
[en] NEURAL ARCHITECTURE SEARCH
[en] CONVOLUTIONAL NEURAL NETWORKS
title_short [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
title_full [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
title_fullStr [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
title_full_unstemmed [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
title_sort [pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA
author DANIELA DE MATTOS SZWARCMAN
author_facet DANIELA DE MATTOS SZWARCMAN
author_role author
dc.contributor.none.fl_str_mv MARLEY MARIA BERNARDES REBUZZI VELLASCO
MARLEY MARIA BERNARDES REBUZZI VELLASCO
dc.contributor.author.fl_str_mv DANIELA DE MATTOS SZWARCMAN
dc.subject.por.fl_str_mv [pt] NEUROEVOLUCAO
[pt] ALGORITMOS DE INSPIRACAO QUANTICA
[pt] BUSCA DE ARQUITETURAS NEURAIS
[pt] REDES NEURAIS CONVOLUCIONAIS
[en] NEUROEVOLUTION
[en] QUANTUM INSPIRED ALGORITHMS
[en] NEURAL ARCHITECTURE SEARCH
[en] CONVOLUTIONAL NEURAL NETWORKS
topic [pt] NEUROEVOLUCAO
[pt] ALGORITMOS DE INSPIRACAO QUANTICA
[pt] BUSCA DE ARQUITETURAS NEURAIS
[pt] REDES NEURAIS CONVOLUCIONAIS
[en] NEUROEVOLUTION
[en] QUANTUM INSPIRED ALGORITHMS
[en] NEURAL ARCHITECTURE SEARCH
[en] CONVOLUTIONAL NEURAL NETWORKS
description [pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa.
publishDate 2020
dc.date.none.fl_str_mv 2020-08-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/other
format other
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@2
http://doi.org/10.17771/PUCRio.acad.49066
url https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=49066@2
http://doi.org/10.17771/PUCRio.acad.49066
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv MAXWELL
publisher.none.fl_str_mv MAXWELL
dc.source.none.fl_str_mv reponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)
instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron:PUC_RIO
instname_str Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron_str PUC_RIO
institution PUC_RIO
reponame_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
collection Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository.name.fl_str_mv Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
repository.mail.fl_str_mv
_version_ 1814822622516477952