Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço
Autor(a) principal: | |
---|---|
Data de Publicação: | 2012 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) |
Texto Completo: | https://hdl.handle.net/20.500.12733/1617393 |
Resumo: | Orientador: Fernando José Von Zuben |
id |
UNICAMP-30_278b1344d4f363ef3934840e9a6dafa1 |
---|---|
oai_identifier_str |
oai::851075 |
network_acronym_str |
UNICAMP-30 |
network_name_str |
Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) |
repository_id_str |
|
spelling |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforçoA hybrid architecture to address reinforcement learning problemsInteligência artificialAprendizado de máquinaTeoria dos autômatosRobóticaRobôs móveisArtificial intelligenceMachine learningTheory of automataRoboticsMobile robotsOrientador: Fernando José Von ZubenDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Com o uso de sistemas cognitivos em uma crescente gama de aplicações, criou-se uma grande expectativa e elevada demanda por máquinas cada vez mais autônomas, inteligentes e criativas na solução de problemas reais. Em diversos casos, os desafios demandam capacidade de aprendizado e adaptação. Este trabalho lida com conceitos de aprendizagem por reforço e discorre sobre as principais abordagens de solução e variações de problemas. Em seguida, constrói uma proposta híbrida incorporando outras ideias em aprendizagem de máquina, validando-a com experimentos simulados. Os experimentos permitem apontar as principais vantagens da metodologia proposta, a qual está fundamentada em sua capacidade de lidar com cenários de espaços contínuos e, também, de aprender uma política ótima enquanto segue outra, exploratória. A arquitetura proposta é híbrida, baseada em uma rede neural perceptron multi-camadas acoplada a um aproximador de funções denominado wirefitting. Esta arquitetura é coordenada por um algoritmo adaptativo e dinâmico que une conceitos de programação dinâmica, análise de Monte Carlo, aprendizado por diferença temporal e elegibilidade. O modelo proposto é utilizado para resolver problemas de controle ótimo, por meio de aprendizagem por reforço, em cenários com variáveis contínuas e desenvolvimento não-linear. Duas instâncias diferentes de problemas de controle, reconhecidas na literatura pertinente, são apresentadas e testadas com a mesma arquiteturaAbstract: With the evergrowing use of cognitive systems in various applications, it has been created a high expectation and a large demand for machines more and more autonomous, intelligent and creative in real world problem solving. In several cases, the challenges ask for high adaptive and learning capability. This work deals with the concepts of reinforcement learning, and reasons on the main solution approaches and problem variations. Subsequently, it builds a hybrid proposal incorporating other machine learning ideas, so that the proposal is validated with simulated experiments. The experiments allow to point out the main advantages of the proposed methodology, founded on its capability to handle continuous space environments, and also to learn an optimal policy while following an exploratory policy. The proposed architecture is hybrid in the sense that it is based on a multi-layer perceptron neural network coupled with a function approximator called wire-fitting. The referred architecture is coordinated by a dynamic and adaptive algorithm which merges concepts from dynamic programming, Monte Carlo analysis, temporal difference learning, and eligibility. The proposed model is used to solve optimal control problems, by means of reinforcement learning, in scenarios endowed with continuous variables and nonlinear development. Two different instances of control problems, well discussed in the pertinent literature, are presented and tested with the same architectureMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica[s.n.]Von Zuben, Fernando José, 1968-Von Zuben, Fernando José, 1968-Gudwin, Ricardo RibeiroRomero, Roseli Aparecida FrancelinUniversidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de ComputaçãoPrograma de Pós-Graduação em Engenharia ElétricaUNIVERSIDADE ESTADUAL DE CAMPINASArruda, Rodrigo Lopes Setti de20122012-07-02T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf58 f. : il.https://hdl.handle.net/20.500.12733/1617393ARRUDA, Rodrigo Lopes Setti de. Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço. 2012. 58 f. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1617393. Acesso em: 3 set. 2024.https://repositorio.unicamp.br/acervo/detalhe/851075porreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2022-05-04T20:46:30Zoai::851075Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2022-05-04T20:46:30Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false |
dc.title.none.fl_str_mv |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço A hybrid architecture to address reinforcement learning problems |
title |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
spellingShingle |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço Arruda, Rodrigo Lopes Setti de Inteligência artificial Aprendizado de máquina Teoria dos autômatos Robótica Robôs móveis Artificial intelligence Machine learning Theory of automata Robotics Mobile robots |
title_short |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
title_full |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
title_fullStr |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
title_full_unstemmed |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
title_sort |
Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço |
author |
Arruda, Rodrigo Lopes Setti de |
author_facet |
Arruda, Rodrigo Lopes Setti de |
author_role |
author |
dc.contributor.none.fl_str_mv |
Von Zuben, Fernando José, 1968- Von Zuben, Fernando José, 1968- Gudwin, Ricardo Ribeiro Romero, Roseli Aparecida Francelin Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação Programa de Pós-Graduação em Engenharia Elétrica UNIVERSIDADE ESTADUAL DE CAMPINAS |
dc.contributor.author.fl_str_mv |
Arruda, Rodrigo Lopes Setti de |
dc.subject.por.fl_str_mv |
Inteligência artificial Aprendizado de máquina Teoria dos autômatos Robótica Robôs móveis Artificial intelligence Machine learning Theory of automata Robotics Mobile robots |
topic |
Inteligência artificial Aprendizado de máquina Teoria dos autômatos Robótica Robôs móveis Artificial intelligence Machine learning Theory of automata Robotics Mobile robots |
description |
Orientador: Fernando José Von Zuben |
publishDate |
2012 |
dc.date.none.fl_str_mv |
2012 2012-07-02T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://hdl.handle.net/20.500.12733/1617393 ARRUDA, Rodrigo Lopes Setti de. Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço. 2012. 58 f. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1617393. Acesso em: 3 set. 2024. |
url |
https://hdl.handle.net/20.500.12733/1617393 |
identifier_str_mv |
ARRUDA, Rodrigo Lopes Setti de. Uma arquitetura híbrida aplicada em problemas de aprendizagem por reforço. 2012. 58 f. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1617393. Acesso em: 3 set. 2024. |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
https://repositorio.unicamp.br/acervo/detalhe/851075 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf 58 f. : il. |
dc.publisher.none.fl_str_mv |
[s.n.] |
publisher.none.fl_str_mv |
[s.n.] |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) instname:Universidade Estadual de Campinas (UNICAMP) instacron:UNICAMP |
instname_str |
Universidade Estadual de Campinas (UNICAMP) |
instacron_str |
UNICAMP |
institution |
UNICAMP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) |
collection |
Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP) |
repository.mail.fl_str_mv |
sbubd@unicamp.br |
_version_ |
1809189073287380992 |