Aplicação de aprendizado por reforço em navegação de rôbos

Detalhes bibliográficos
Autor(a) principal: Wilson Salomão Félix Júnior
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/51162
Resumo: O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas.
id UFMG_54a3d10411bfa23c8d6133a7fe4407f1
oai_identifier_str oai:repositorio.ufmg.br:1843/51162
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Vinícius Mariano Gonçalveshttp://lattes.cnpq.br/9656383124994957Adriano VelosoArmando Alves Netohttp://lattes.cnpq.br/2330721392539719Wilson Salomão Félix Júnior2023-03-23T18:52:35Z2023-03-23T18:52:35Z2022-04-29http://hdl.handle.net/1843/51162O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas.The study and the usage of robots to assist humanity has been studied deeply since the past century. One of the main researches is to perform the robot motion autonomously, safely and efficiently, in such a way that they perform tasks that may need locomotion. However, it is common that the desired path be complicated to build or follow, while some constraints of the environment have to be considered, such as, obstacle avoidance, moviment constraints or limitation on robot sensors. Recently, one of the areas that has achieved notoriety in the research community is deep reinforcement learning, which assembles concepts of reinforcement learning, one sub-area of machine learning, with the lastest breakthroughs of deep learning, another research field with several expressive results. Even considering that the first applications were in video games, many researchers have been proposing to apply these techniques in robot systems, for many tasks, for example, manipulation and locomotion. In this way, this dissertation will present some tools and algorithms recently proposed in deep reinforcement learning, which will make the robot capable of learning to move to a target in a scenario with obstacles. Besides that, this work will propose an algorithm that performs the learning of the best path according to the task continuously, improving the path travelled as the robot finalizes the tasks.porUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Engenharia ElétricaUFMGBrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAEngenharia elétricaAprendizado profundoRobóticaProgramação dinâmicaAprendizado por reforçoAprendizado profundoControle de movimentoProgramação dinâmicaRobóticaAplicação de aprendizado por reforço em navegação de rôbosApplication of reinforcement learning in robot navigationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGLICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/51162/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD54ORIGINALAplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdfAplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdfapplication/pdf6669984https://repositorio.ufmg.br/bitstream/1843/51162/3/AplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdf050a2f52e2c61c2bae0e3da1e74fd7b9MD531843/511622023-03-23 15:52:35.455oai:repositorio.ufmg.br:1843/51162TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2023-03-23T18:52:35Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Aplicação de aprendizado por reforço em navegação de rôbos
dc.title.alternative.pt_BR.fl_str_mv Application of reinforcement learning in robot navigation
title Aplicação de aprendizado por reforço em navegação de rôbos
spellingShingle Aplicação de aprendizado por reforço em navegação de rôbos
Wilson Salomão Félix Júnior
Aprendizado por reforço
Aprendizado profundo
Controle de movimento
Programação dinâmica
Robótica
Engenharia elétrica
Aprendizado profundo
Robótica
Programação dinâmica
title_short Aplicação de aprendizado por reforço em navegação de rôbos
title_full Aplicação de aprendizado por reforço em navegação de rôbos
title_fullStr Aplicação de aprendizado por reforço em navegação de rôbos
title_full_unstemmed Aplicação de aprendizado por reforço em navegação de rôbos
title_sort Aplicação de aprendizado por reforço em navegação de rôbos
author Wilson Salomão Félix Júnior
author_facet Wilson Salomão Félix Júnior
author_role author
dc.contributor.advisor1.fl_str_mv Vinícius Mariano Gonçalves
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/9656383124994957
dc.contributor.referee1.fl_str_mv Adriano Veloso
dc.contributor.referee2.fl_str_mv Armando Alves Neto
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/2330721392539719
dc.contributor.author.fl_str_mv Wilson Salomão Félix Júnior
contributor_str_mv Vinícius Mariano Gonçalves
Adriano Veloso
Armando Alves Neto
dc.subject.por.fl_str_mv Aprendizado por reforço
Aprendizado profundo
Controle de movimento
Programação dinâmica
Robótica
topic Aprendizado por reforço
Aprendizado profundo
Controle de movimento
Programação dinâmica
Robótica
Engenharia elétrica
Aprendizado profundo
Robótica
Programação dinâmica
dc.subject.other.pt_BR.fl_str_mv Engenharia elétrica
Aprendizado profundo
Robótica
Programação dinâmica
description O estudo e a utilização de robôs para atender as necessidades do ser humano tem sido estudada de forma profunda desde o último século. Umas das principais pesquisas é como realizar o movimento de robôs de forma autônoma, segura e eficiente, fazendo com que eles realizem tarefas que precisam de locomoção. No entanto, é comum que seja difícil construir ou seguir caminhos que respeitem as diversas restrições do ambiente, como por exemplo, presença de obstáculos, restrições no movimento ou limitações no sensoriamento do robô. Recentemente, uma das áreas que tem ganhado notoriedade dentro da comunidade científica é o aprendizado por reforço profundo, que reúne os conceitos de aprendizagem por reforço, uma sub-área da aprendizagem de máquina, com as últimas inovações produzidas pelo aprendizado profundo, outro campo muito estudado com diversos resultados expressivos obtidos. Ainda que inicialmente as primeiras aplicações tenham sido no setor de jogos virtuais, vários pesquisadores vem propondo aplicar essas técnicas em sistemas robóticos, para tarefas de manipulação, locomoção, entre várias outras. Neste sentido, esta dissertação irá apresentar algumas ferramentas e algoritmos propostas na área de aprendizagem por reforço profundo, que farão com um robô móvel seja capaz de aprender a se deslocar para um alvo em um cenário com obstáculos. Além disso, este trabalho irá propor um algoritmo que realiza o aprendizado do melhor caminho de acordo com a tarefa de forma contínua, melhorando o caminho percorrido a medida que o robô conclui as tarefas.
publishDate 2022
dc.date.issued.fl_str_mv 2022-04-29
dc.date.accessioned.fl_str_mv 2023-03-23T18:52:35Z
dc.date.available.fl_str_mv 2023-03-23T18:52:35Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/51162
url http://hdl.handle.net/1843/51162
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFMG
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/51162/4/license.txt
https://repositorio.ufmg.br/bitstream/1843/51162/3/AplicacaoAprendizadoPorReforcoEmNavegacaoDeRobos.pdf
bitstream.checksum.fl_str_mv cda590c95a0b51b4d15f60c9642ca272
050a2f52e2c61c2bae0e3da1e74fd7b9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589538281422848