Evolving Learning Rate Schedulers

Detalhes bibliográficos
Autor(a) principal: Carvalho, Pedro Filipe Gomes Ramos de
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/92561
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_3bcb120e0333701e3e21c28295bf5424
oai_identifier_str oai:estudogeral.uc.pt:10316/92561
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Evolving Learning Rate SchedulersEvolving Learning Rate SchedulersRedes Neuronais ArtificiaisEvolução Gramatical EstruturadaOptimização da Taxa de AprendizagemArtificial Neural NetworkStructured Grammatical EvolutionLearning Rate OptimizationDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA escolha de uma boa taxa de aprendizagem é fulcral para o bom treino e performance de Redes Neuronais. Atualmente, existem imensos métodos automáticos que facilitam a busca por uma boa taxa de aprendizagem. Apesar de estas técnicas serem eficazes e produzirem bons resultados ao longo do anos, são soluções generalistas i.e. não tem em conta as caracteristica de uma rede especifica. Dado isto, os possivéis beneficios de optimizar a taxa de aprendizagem para uma topologia de rede especifica permanece inexplorados. Como redes neuronais são sistemas complexos com muitos componentes inderdependentes, não é possivel para um humano inferir como é que um optimizador pode ser especializado para uma certa topologia. Apesar disso, técnicas de optimização heuristica como Algoritmos Evolucionários podem ser utilizados para procurar optimizadores personalizados que funcionem bem para uma arquitetura de rede neuronal especifica.Neste trabalho propomos o AutoLR, um sistema que utiliza Evolução Gramatical Estruturada para evoluir optimizadores de taxas de aprendizagem. Duas versões deste sistema são implementadas para dois tipos de optimizadores. O AutoLR Dinâmico é utilizado para evoluir optimizadores estáticos e dinâmicos. O melhor optimizador dinâmico evoluido tem melhor performance que o optimizador de controlo estabelecido e utiliza algumas técnicas encontradas na literatura. Apesar do LRD atingir bons resultados, os optimizadores evoluidos por este sistema só tem em consideração a taxa de aprendizagem anterior e a época de treino atual. De modo a superar estas limitações desenvolvemos um novo método chamado AutoLR Adaptativo. Esta versão do sistema evolui optimizadores adaptativos que tem acesso a mais informação sobre o treino. Estes optimizadores são capazes de afinar a taxa de aprendizagem para cada peso da rede individualmente, o que os faz geralmente mais eficazes. O optimizador adaptativo evoluido mais notável é capaz de competir com os melhores métodos do estado da arte, conseguindo até superá-los em alguns casos. Por último, o sistema foi capaz de descobrir um novo optimizador, ADES. Tanto quanto sabemos não existem optimizadores adaptativos na literatura que sejam semelhantes ao ADES.The choice of a proper learning rate is paramount for good Artificial Neural Network training and performance. Currently, a plethora of state of the art automatic methods exist that make the search for a good learning rate easier, called Learning Rate Optimizers. While these techniques are effective and have yielded good results over the years, they are general solution i.e. they do not take into account the characteristics of a specific network. As a result, the possible benefits of the optimization of learning rate for specific network topologies remains largely unexplored. Since neural networks are complex systems with many interdependent components it is not possible for humans to infer how an optimizer can be specialized for a certain network topology. Nevertheless, heuristic optimization techniques such as Evolutionary Algorithms can be used to search for custom optimizers that work well for specific network architectures.In this work we propose AutoLR, a framework that uses Structured Grammatical Evolution to evolve learning rate optimizers. Two versions of this system are implemented for different types of optimizers. Dynamic AutoLR is used to evolve static and dynamic learning rate optimizers. The best evolved dynamic optimizer outperforms the established baseline and utilizes some techniques found in the literature. Even though DLR achieved good results the optimizers evolved by this system only take into account the previous learning rate and current training epoch. In order to overcome these limitations we devised a new method called Adaptive AutoLR. This version of the system evolves adaptive optimizers that have access to more information about training. These optimizers are able to fine tune a different learning rate for each network weight which makes them generally more effective. The most notable evolved adaptive optimizer is able to perform on par with the best state of the art methods, even outperforming them in some scenarios. Furthermore, the system was able to automatically discover a novel optimizer, ADES. To the best of our knowledge, no adaptive optimizers present in the literature are similar to ADES.2020-07-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/92561http://hdl.handle.net/10316/92561TID:202521206engCarvalho, Pedro Filipe Gomes Ramos deinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T05:55:32Zoai:estudogeral.uc.pt:10316/92561Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:11:37.852143Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Evolving Learning Rate Schedulers
Evolving Learning Rate Schedulers
title Evolving Learning Rate Schedulers
spellingShingle Evolving Learning Rate Schedulers
Carvalho, Pedro Filipe Gomes Ramos de
Redes Neuronais Artificiais
Evolução Gramatical Estruturada
Optimização da Taxa de Aprendizagem
Artificial Neural Network
Structured Grammatical Evolution
Learning Rate Optimization
title_short Evolving Learning Rate Schedulers
title_full Evolving Learning Rate Schedulers
title_fullStr Evolving Learning Rate Schedulers
title_full_unstemmed Evolving Learning Rate Schedulers
title_sort Evolving Learning Rate Schedulers
author Carvalho, Pedro Filipe Gomes Ramos de
author_facet Carvalho, Pedro Filipe Gomes Ramos de
author_role author
dc.contributor.author.fl_str_mv Carvalho, Pedro Filipe Gomes Ramos de
dc.subject.por.fl_str_mv Redes Neuronais Artificiais
Evolução Gramatical Estruturada
Optimização da Taxa de Aprendizagem
Artificial Neural Network
Structured Grammatical Evolution
Learning Rate Optimization
topic Redes Neuronais Artificiais
Evolução Gramatical Estruturada
Optimização da Taxa de Aprendizagem
Artificial Neural Network
Structured Grammatical Evolution
Learning Rate Optimization
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-07-07
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/92561
http://hdl.handle.net/10316/92561
TID:202521206
url http://hdl.handle.net/10316/92561
identifier_str_mv TID:202521206
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134012732604416

Registros relacionados