Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Monografias da UnB |
Texto Completo: | https://bdm.unb.br/handle/10483/28428 |
Resumo: | Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018. |
id |
UNB-2_e255af9c5845ac5c0785f664528f9494 |
---|---|
oai_identifier_str |
oai:bdm.unb.br:10483/28428 |
network_acronym_str |
UNB-2 |
network_name_str |
Biblioteca Digital de Monografias da UnB |
repository_id_str |
11571 |
spelling |
Braz, Júlia Cabral DinizRomariz, Alexandre Ricardo SoaresBRAZ, Júlia Cabral Diniz. Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço. 2018. xiii, 69 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2018.https://bdm.unb.br/handle/10483/28428Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018.Esse trabalho tem como objetivo o melhoramento de um modelo de marcha proposto em um trabalho anterior, utilizando-se estratégias de aprendizado por reforço. Para isso foram aplicados dois métodos diferentes, o primeiro foi a utilização do algoritmo de diferença temporal e o segundo, um algoritmo de gradiente de política. Para a avaliação dos algoritmos eles foram, primeiramente, aplicados em ambiente simulado. No primeiro método, o valor dos estados são aproximados conforme os estados são visitados e uma implementação com parâmetros contínuos se mostrou inviável. Deste modo, apenas três parâmetros foram escolhidos para serem aprendidos e esses foram discretizados em passos de 0,4, mas mesmo com estas restrições impostas, foi visto que para se obter uma estimativa da função valor eram necessárias muitas horas de simulação. No segundo método o tempo de simulação diminuiu consideravelmente, e com poucas iterações, foi possível a obtenção de melhores resultados. A marcha usada para inciar o algoritmo conseguia percorrer uma distância de 61cm e a marcha final encontrada nesse trabalho chegou a andar 80cm, um aumento de 30%.Submitted by Patricia Nunes (patricia@bce.unb.br) on 2021-09-02T01:55:12Z No. of bitstreams: 1 2018_JuliaCabralDinizBraz_tcc.pdf: 5974114 bytes, checksum: 31a8436fdb26d5de5f26f3abb2b691cd (MD5)Approved for entry into archive by Patricia Nunes (patricia@bce.unb.br) on 2021-09-02T01:55:31Z (GMT) No. of bitstreams: 1 2018_JuliaCabralDinizBraz_tcc.pdf: 5974114 bytes, checksum: 31a8436fdb26d5de5f26f3abb2b691cd (MD5)Made available in DSpace on 2021-09-02T01:55:31Z (GMT). No. of bitstreams: 1 2018_JuliaCabralDinizBraz_tcc.pdf: 5974114 bytes, checksum: 31a8436fdb26d5de5f26f3abb2b691cd (MD5)This work aims to improve a gait model proposed in an earlier work, using reinforcement learning strategies. For this, two different methods were applied, the first being the use of the time difference algorithm and the second, a policy gradient algorithm. For the evaluation of the algorithms they were applied in a simulated environment first. In the first method, the value of the states is approximated as the states are visited and an implementation with continuous parameters proved to be impractical. Thus, only three parameters were chosen to be learned and these were discretized in steps of 0.4, but even with these restrictions, it was seen that in order to obtain an estimate of the value function, many hours of simulation were necessary. In the second method the simulation time decreased considerably and with few iterations it was possible to obtain better results. The march used to start the algorithm could walk a distance of 61cm and the final gait found in this work reached 80cm, an increase of 30%.A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor que autoriza a Biblioteca Digital da Produção Intelectual Discente da Universidade de Brasília (BDM) a disponibilizar o trabalho de conclusão de curso por meio do sítio bdm.unb.br, com as seguintes condições: disponível sob Licença Creative Commons 4.0 International, que permite copiar, distribuir e transmitir o trabalho, desde que seja citado o autor e licenciante. Não permite o uso para fins comerciais nem a adaptação desta.info:eu-repo/semantics/openAccessAprendizado por reforçoMonte Carlo, Método deRobôs móveisMelhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforçoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis2021-09-02T01:55:31Z2021-09-02T01:55:31Z2018-12-12porreponame:Biblioteca Digital de Monografias da UnBinstname:Universidade de Brasília (UnB)instacron:UNBLICENSElicense.txtlicense.txttext/plain1817http://bdm.unb.br/xmlui/bitstream/10483/28428/2/license.txt21554873e56ad8ddc69c092699b98f95MD52ORIGINAL2018_JuliaCabralDinizBraz_tcc.pdf2018_JuliaCabralDinizBraz_tcc.pdfapplication/pdf5974114http://bdm.unb.br/xmlui/bitstream/10483/28428/1/2018_JuliaCabralDinizBraz_tcc.pdf31a8436fdb26d5de5f26f3abb2b691cdMD5110483/284282021-09-01 22:55:31.307oai:bdm.unb.br:10483/28428w4kgbmVjZXNzw6FyaW8gY29uY29yZGFyIGNvbSBhIGxpY2Vuw6dhIGRlIGRpc3RyaWJ1acOnw6NvIG7Do28tZXhjbHVzaXZhLAphbnRlcyBxdWUgbyBkb2N1bWVudG8gcG9zc2EgYXBhcmVjZXIgbmEgQmlibGlvdGVjYSBEaWdpdGFsIGRhIFByb2R1w6fDo28gCkRpc2NlbnRlIGRhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEuIFBvciBmYXZvciwgbGVpYSBhCmxpY2Vuw6dhIGF0ZW50YW1lbnRlLiBDYXNvIG5lY2Vzc2l0ZSBkZSBhbGd1bSBlc2NsYXJlY2ltZW50byBlbnRyZSBlbQpjb250YXRvIGF0cmF2w6lzIGRlOiBiZG1AYmNlLnVuYi5iciBvdSAzMTA3LTI2ODcuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQW8gYXNzaW5hciBlIGVudHJlZ2FyIGVzdGEgbGljZW7Dp2EsIG8vYSBTci4vU3JhLiAoYXV0b3Igb3UgZGV0ZW50b3IgZG9zCmRpcmVpdG9zIGRlIGF1dG9yKToKCmEpIENvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIGRlIEJyYXPDrWxpYSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUKcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGNvbXVuaWNhciBlL291CmRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZW50cmVndWUgKGluY2x1aW5kbyBvIHJlc3Vtby9hYnN0cmFjdCkgZW0KZm9ybWF0byBkaWdpdGFsIG91IGltcHJlc3NvIGUgZW0gcXVhbHF1ZXIgbWVpby4KCmIpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYQp0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kKcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuCgpjKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MKZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcwpkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIMOgIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEgb3MgZGlyZWl0b3MKcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlCnRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91CmNvbnRlw7pkbyBkbyBkb2N1bWVudG8gZW50cmVndWUuCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbwpwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUgbsOjbyBhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEsIGRlY2xhcmEgcXVlCmN1bXByaXUgcXVhaXNxdWVyIG9icmlnYcOnw7VlcyBleGlnaWRhcyBwZWxvIHJlc3BlY3Rpdm8gY29udHJhdG8gb3UKYWNvcmRvLgoKQSBVbml2ZXJzaWRhZGUgZGUgQnJhc8OtbGlhIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBvKHMpIHNldSAocykgbm9tZSAocykKY29tbyBvIChzKSBhdXRvciAoZXMpIG91IGRldGVudG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50bwplbnRyZWd1ZSwgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRhcyBwZXJtaXRpZGFzIHBvcgplc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Monografiahttps://bdm.unb.br/PUBhttp://bdm.unb.br/oai/requestbdm@bce.unb.br||patricia@bce.unb.bropendoar:115712021-09-02T01:55:31Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)false |
dc.title.pt_BR.fl_str_mv |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
title |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
spellingShingle |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço Braz, Júlia Cabral Diniz Aprendizado por reforço Monte Carlo, Método de Robôs móveis |
title_short |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
title_full |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
title_fullStr |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
title_full_unstemmed |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
title_sort |
Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço |
author |
Braz, Júlia Cabral Diniz |
author_facet |
Braz, Júlia Cabral Diniz |
author_role |
author |
dc.contributor.author.fl_str_mv |
Braz, Júlia Cabral Diniz |
dc.contributor.advisor1.fl_str_mv |
Romariz, Alexandre Ricardo Soares |
contributor_str_mv |
Romariz, Alexandre Ricardo Soares |
dc.subject.keyword.pt_BR.fl_str_mv |
Aprendizado por reforço Monte Carlo, Método de Robôs móveis |
topic |
Aprendizado por reforço Monte Carlo, Método de Robôs móveis |
description |
Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018. |
publishDate |
2018 |
dc.date.submitted.none.fl_str_mv |
2018-12-12 |
dc.date.accessioned.fl_str_mv |
2021-09-02T01:55:31Z |
dc.date.available.fl_str_mv |
2021-09-02T01:55:31Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
BRAZ, Júlia Cabral Diniz. Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço. 2018. xiii, 69 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2018. |
dc.identifier.uri.fl_str_mv |
https://bdm.unb.br/handle/10483/28428 |
identifier_str_mv |
BRAZ, Júlia Cabral Diniz. Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço. 2018. xiii, 69 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2018. |
url |
https://bdm.unb.br/handle/10483/28428 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Monografias da UnB instname:Universidade de Brasília (UnB) instacron:UNB |
instname_str |
Universidade de Brasília (UnB) |
instacron_str |
UNB |
institution |
UNB |
reponame_str |
Biblioteca Digital de Monografias da UnB |
collection |
Biblioteca Digital de Monografias da UnB |
bitstream.url.fl_str_mv |
http://bdm.unb.br/xmlui/bitstream/10483/28428/2/license.txt http://bdm.unb.br/xmlui/bitstream/10483/28428/1/2018_JuliaCabralDinizBraz_tcc.pdf |
bitstream.checksum.fl_str_mv |
21554873e56ad8ddc69c092699b98f95 31a8436fdb26d5de5f26f3abb2b691cd |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB) |
repository.mail.fl_str_mv |
bdm@bce.unb.br||patricia@bce.unb.br |
_version_ |
1801493155356344320 |