Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) |
Texto Completo: | https://repositorio.ufersa.edu.br/handle/prefix/6262 |
Resumo: | Reinforcement Learning (RL) has proven to be a very efficient method when solving problems where it is necessary to learn a behavior from an unknown environment. There are several applications of this method in the most different areas of research, one of these applications has attracted the attention of researchers in the area of computing, which is the ability to create autonomous agents using reinforcement learning. There are several RL algorithms that can be applied to learning tasks, in order to determine an optimal policy for an agent. This work proposes to perform a study of reinforcement learning algorithms applied to problems of autonomous navigation, for this was done a bibliographic survey on the subject and implemented two algorithms quite popular in literature, Q-learning and Sarsa, seeking to analyze them as to the ability to converge to an optimal policy and its performances in the application in an autonomous navigation model, that seeks to learn to avoid obstacles and reach a predetermined goal. The SCILAB software was used to simulate the developed environment and implementation of the RL algorithms, the results obtained in the tests of both algorithms were analyzed regarding the autonomous learning ability of the agent in the search of the determined objective, where changes were made in the parameters of the learning equations and compared the results in order to obtain the best performance. The algorithms presented different results for each variation of the parameters in the accomplishment of the same task in the developed environment, with highlight to the Sarsa algorithm, which was more sensitive to the variations. So, the performance for a reinforcement learning application depends on both, the algorithms used and the learning parameters used. |
id |
UFER_7aac161d76342f984af9829866f27044 |
---|---|
oai_identifier_str |
oai:repositorio.ufersa.edu.br:prefix/6262 |
network_acronym_str |
UFER |
network_name_str |
Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) |
repository_id_str |
|
spelling |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôsAprendizagem por ReforçoNavegação AutônomaPolíticaQ-learning. SarsaReinforcement LearningAutonomous NavigationPolicyQ-learning. SarsaCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA E TECNOLOGIAReinforcement Learning (RL) has proven to be a very efficient method when solving problems where it is necessary to learn a behavior from an unknown environment. There are several applications of this method in the most different areas of research, one of these applications has attracted the attention of researchers in the area of computing, which is the ability to create autonomous agents using reinforcement learning. There are several RL algorithms that can be applied to learning tasks, in order to determine an optimal policy for an agent. This work proposes to perform a study of reinforcement learning algorithms applied to problems of autonomous navigation, for this was done a bibliographic survey on the subject and implemented two algorithms quite popular in literature, Q-learning and Sarsa, seeking to analyze them as to the ability to converge to an optimal policy and its performances in the application in an autonomous navigation model, that seeks to learn to avoid obstacles and reach a predetermined goal. The SCILAB software was used to simulate the developed environment and implementation of the RL algorithms, the results obtained in the tests of both algorithms were analyzed regarding the autonomous learning ability of the agent in the search of the determined objective, where changes were made in the parameters of the learning equations and compared the results in order to obtain the best performance. The algorithms presented different results for each variation of the parameters in the accomplishment of the same task in the developed environment, with highlight to the Sarsa algorithm, which was more sensitive to the variations. So, the performance for a reinforcement learning application depends on both, the algorithms used and the learning parameters used.A Aprendizagem por Reforço (AR) tem se mostrado um método bastante eficiente quando se trata da resolução de problemas onde é necessário aprender um comportamento de atuação a partir de um ambiente desconhecido. Existem várias aplicações desse método nas mais diferentes áreas de pesquisa, uma dessas aplicações tem chamado muito a atenção de pesquisadores da área de computação, que é a capacidade criar agentes autônomos utilizando a Aprendizagem por Reforço. Existem diversos algoritmos de AR que podem ser aplicados a tarefas de aprendizagem, tendo como objetivo determinar uma política ótima de atuação para um agente. Este trabalho se propõe a realizar um estudo dos algoritmos de Aprendizagem por Reforço aplicado a problemas de navegação autônoma. Para isso, foi realizado um levantamento bibliográfico sobre o tema e implementados dois algoritmos bastante populares na literatura, Q-learning e Sarsa, buscando analisá-los quanto à capacidade de convergência para uma política de atuação ótima e seus desempenhos na aplicação em um modelo de navegação autônoma, que busca aprender a desviar de obstáculos e atingir um objetivo pré-determinado. Foi utilizado o software SCILAB para simulação do ambiente desenvolvido e implementação dos algoritmos de AR, os resultados obtidos nos testes de ambos os algoritmos foram analisados quanto à capacidade de aprendizado autônomo do agente na busca do objetivo determinado, onde foram feita mudanças nos parâmetros das equações de aprendizagem e comparado os resultados, a fim de obter o melhor desempenho. Os algoritmos apresentaram resultados distintos para cada variação dos parâmetros na realização da mesma tarefa no ambiente desenvolvido, com destaque para o algoritmo Sarsa, que se mostrou mais sensível às variações. Assim, o desempenho para uma aplicação de Aprendizagem por Reforço depende tanto dos algoritmos utilizados como dos parâmetros utilizados.Trabalho não financiado por agência de fomento, ou autofinanciadoUniversidade Federal Rural do Semi-ÁridoBrasilCentro Multidisciplinar de Pau dos FerrosUFERSALima, Náthalee Cavalcanti de AlmeidaSilva Segundo, Francisco Carlos Gurgel daMesquita, Marco Diego AurélioCosta, Emanoel Lucas Rodrigues2021-06-01T22:15:49Z2021-05-312021-06-01T22:15:49Z2017-05-15Monografiainfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersionapplication/pdfCosta (2017) (COSTA, 2017)https://repositorio.ufersa.edu.br/handle/prefix/6262porCOSTA, Emanoel Lucas Rodrigues. Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs. 2017. 51 f. Monografia (Graduação em Ciência e Tecnologia), Centro Multidisciplinar de Pau dos Ferros, Universidade Federal Rural do Semi-Árido, Pau dos Ferros, 2017.CC-BY-SAinfo:eu-repo/semantics/openAccessreponame:Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)instname:Universidade Federal Rural do Semi-Árido (UFERSA)instacron:UFERSA2023-09-14T15:51:26Zoai:repositorio.ufersa.edu.br:prefix/6262Repositório Institucionalhttps://repositorio.ufersa.edu.br/PUBhttps://repositorio.ufersa.edu.br/server/oai/requestrepositorio@ufersa.edu.br || admrepositorio@ufersa.edu.bropendoar:2023-09-14T15:51:26Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) - Universidade Federal Rural do Semi-Árido (UFERSA)false |
dc.title.none.fl_str_mv |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
title |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
spellingShingle |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs Costa, Emanoel Lucas Rodrigues Aprendizagem por Reforço Navegação Autônoma Política Q-learning. Sarsa Reinforcement Learning Autonomous Navigation Policy Q-learning. Sarsa CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA E TECNOLOGIA |
title_short |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
title_full |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
title_fullStr |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
title_full_unstemmed |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
title_sort |
Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs |
author |
Costa, Emanoel Lucas Rodrigues |
author_facet |
Costa, Emanoel Lucas Rodrigues |
author_role |
author |
dc.contributor.none.fl_str_mv |
Lima, Náthalee Cavalcanti de Almeida Silva Segundo, Francisco Carlos Gurgel da Mesquita, Marco Diego Aurélio |
dc.contributor.author.fl_str_mv |
Costa, Emanoel Lucas Rodrigues |
dc.subject.por.fl_str_mv |
Aprendizagem por Reforço Navegação Autônoma Política Q-learning. Sarsa Reinforcement Learning Autonomous Navigation Policy Q-learning. Sarsa CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA E TECNOLOGIA |
topic |
Aprendizagem por Reforço Navegação Autônoma Política Q-learning. Sarsa Reinforcement Learning Autonomous Navigation Policy Q-learning. Sarsa CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA E TECNOLOGIA |
description |
Reinforcement Learning (RL) has proven to be a very efficient method when solving problems where it is necessary to learn a behavior from an unknown environment. There are several applications of this method in the most different areas of research, one of these applications has attracted the attention of researchers in the area of computing, which is the ability to create autonomous agents using reinforcement learning. There are several RL algorithms that can be applied to learning tasks, in order to determine an optimal policy for an agent. This work proposes to perform a study of reinforcement learning algorithms applied to problems of autonomous navigation, for this was done a bibliographic survey on the subject and implemented two algorithms quite popular in literature, Q-learning and Sarsa, seeking to analyze them as to the ability to converge to an optimal policy and its performances in the application in an autonomous navigation model, that seeks to learn to avoid obstacles and reach a predetermined goal. The SCILAB software was used to simulate the developed environment and implementation of the RL algorithms, the results obtained in the tests of both algorithms were analyzed regarding the autonomous learning ability of the agent in the search of the determined objective, where changes were made in the parameters of the learning equations and compared the results in order to obtain the best performance. The algorithms presented different results for each variation of the parameters in the accomplishment of the same task in the developed environment, with highlight to the Sarsa algorithm, which was more sensitive to the variations. So, the performance for a reinforcement learning application depends on both, the algorithms used and the learning parameters used. |
publishDate |
2017 |
dc.date.none.fl_str_mv |
2017-05-15 2021-06-01T22:15:49Z 2021-05-31 2021-06-01T22:15:49Z |
dc.type.driver.fl_str_mv |
Monografia info:eu-repo/semantics/bachelorThesis |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
Costa (2017) (COSTA, 2017) https://repositorio.ufersa.edu.br/handle/prefix/6262 |
identifier_str_mv |
Costa (2017) (COSTA, 2017) |
url |
https://repositorio.ufersa.edu.br/handle/prefix/6262 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
COSTA, Emanoel Lucas Rodrigues. Algoritmos de aprendizagem por reforço aplicados à navegação autônoma de robôs. 2017. 51 f. Monografia (Graduação em Ciência e Tecnologia), Centro Multidisciplinar de Pau dos Ferros, Universidade Federal Rural do Semi-Árido, Pau dos Ferros, 2017. |
dc.rights.driver.fl_str_mv |
CC-BY-SA info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
CC-BY-SA |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal Rural do Semi-Árido Brasil Centro Multidisciplinar de Pau dos Ferros UFERSA |
publisher.none.fl_str_mv |
Universidade Federal Rural do Semi-Árido Brasil Centro Multidisciplinar de Pau dos Ferros UFERSA |
dc.source.none.fl_str_mv |
reponame:Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) instname:Universidade Federal Rural do Semi-Árido (UFERSA) instacron:UFERSA |
instname_str |
Universidade Federal Rural do Semi-Árido (UFERSA) |
instacron_str |
UFERSA |
institution |
UFERSA |
reponame_str |
Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) |
collection |
Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) |
repository.name.fl_str_mv |
Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) - Universidade Federal Rural do Semi-Árido (UFERSA) |
repository.mail.fl_str_mv |
repositorio@ufersa.edu.br || admrepositorio@ufersa.edu.br |
_version_ |
1809747486524309504 |