Aplicação de aprendizado por reforço em navegação de rôbos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | http://hdl.handle.net/1843/51162 |
Resumo: | O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas. |
id |
UFMG_54a3d10411bfa23c8d6133a7fe4407f1 |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/51162 |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Vinícius Mariano Gonçalveshttp://lattes.cnpq.br/9656383124994957Adriano VelosoArmando Alves Netohttp://lattes.cnpq.br/2330721392539719Wilson Salomão Félix Júnior2023-03-23T18:52:35Z2023-03-23T18:52:35Z2022-04-29http://hdl.handle.net/1843/51162O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas.The study and the usage of robots to assist humanity has been studied deeply since the past century. One of the main researches is to perform the robot motion autonomously, safely and efficiently, in such a way that they perform tasks that may need locomotion. However, it is common that the desired path be complicated to build or follow, while some constraints of the environment have to be considered, such as, obstacle avoidance, moviment constraints or limitation on robot sensors. Recently, one of the areas that has achieved notoriety in the research community is deep reinforcement learning, which assembles concepts of reinforcement learning, one sub-area of machine learning, with the lastest breakthroughs of deep learning, another research field with several expressive results. Even considering that the first applications were in video games, many researchers have been proposing to apply these techniques in robot systems, for many tasks, for example, manipulation and locomotion. In this way, this dissertation will present some tools and algorithms recently proposed in deep reinforcement learning, which will make the robot capable of learning to move to a target in a scenario with obstacles. Besides that, this work will propose an algorithm that performs the learning of the best path according to the task continuously, improving the path travelled as the robot finalizes the tasks.porUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Engenharia ElétricaUFMGBrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAEngenharia elétricaAprendizado profundoRobóticaProgramação dinâmicaAprendizado por reforçoAprendizado profundoControle de movimentoProgramação dinâmicaRobóticaAplicação de aprendizado por reforço em navegação de rôbosApplication of reinforcement learning in robot navigationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGLICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/51162/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD54ORIGINALAplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdfAplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdfapplication/pdf6669984https://repositorio.ufmg.br/bitstream/1843/51162/3/AplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdf050a2f52e2c61c2bae0e3da1e74fd7b9MD531843/511622023-03-23 15:52:35.455oai:repositorio.ufmg.br:1843/51162TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2023-03-23T18:52:35Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.pt_BR.fl_str_mv |
Aplicação de aprendizado por reforço em navegação de rôbos |
dc.title.alternative.pt_BR.fl_str_mv |
Application of reinforcement learning in robot navigation |
title |
Aplicação de aprendizado por reforço em navegação de rôbos |
spellingShingle |
Aplicação de aprendizado por reforço em navegação de rôbos Wilson Salomão Félix Júnior Aprendizado por reforço Aprendizado profundo Controle de movimento Programação dinâmica Robótica Engenharia elétrica Aprendizado profundo Robótica Programação dinâmica |
title_short |
Aplicação de aprendizado por reforço em navegação de rôbos |
title_full |
Aplicação de aprendizado por reforço em navegação de rôbos |
title_fullStr |
Aplicação de aprendizado por reforço em navegação de rôbos |
title_full_unstemmed |
Aplicação de aprendizado por reforço em navegação de rôbos |
title_sort |
Aplicação de aprendizado por reforço em navegação de rôbos |
author |
Wilson Salomão Félix Júnior |
author_facet |
Wilson Salomão Félix Júnior |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Vinícius Mariano Gonçalves |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/9656383124994957 |
dc.contributor.referee1.fl_str_mv |
Adriano Veloso |
dc.contributor.referee2.fl_str_mv |
Armando Alves Neto |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/2330721392539719 |
dc.contributor.author.fl_str_mv |
Wilson Salomão Félix Júnior |
contributor_str_mv |
Vinícius Mariano Gonçalves Adriano Veloso Armando Alves Neto |
dc.subject.por.fl_str_mv |
Aprendizado por reforço Aprendizado profundo Controle de movimento Programação dinâmica Robótica |
topic |
Aprendizado por reforço Aprendizado profundo Controle de movimento Programação dinâmica Robótica Engenharia elétrica Aprendizado profundo Robótica Programação dinâmica |
dc.subject.other.pt_BR.fl_str_mv |
Engenharia elétrica Aprendizado profundo Robótica Programação dinâmica |
description |
O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas. |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022-04-29 |
dc.date.accessioned.fl_str_mv |
2023-03-23T18:52:35Z |
dc.date.available.fl_str_mv |
2023-03-23T18:52:35Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1843/51162 |
url |
http://hdl.handle.net/1843/51162 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFMG |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
bitstream.url.fl_str_mv |
https://repositorio.ufmg.br/bitstream/1843/51162/4/license.txt https://repositorio.ufmg.br/bitstream/1843/51162/3/AplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdf |
bitstream.checksum.fl_str_mv |
cda590c95a0b51b4d15f60c9642ca272 050a2f52e2c61c2bae0e3da1e74fd7b9 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
|
_version_ |
1803589538281422848 |