End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30082021-100712/ |
Resumo: | Recent changes in industrial paradigms enforce that robots must be intelligent and capable of decision-making. Robotic manipulators need to satisfy many requirements for operating properly. Perhaps the most fundamental one is the capability of operating in its environment without collisions. In this work, we perform visual obstacle avoidance on goal-reaching tasks of a robotic manipulator using an end-to-end Deep Reinforcement Learning model. The motion control policy is responsible for reaching a target position while at the same time avoiding an obstacle positioned randomly in the scene. This policy uses vision and proprioceptive sensor data to operate. We train the reinforcement learning agent using Twin-Delayed DDPG (TD3) algorithm in a simulated environment, utilizing the Unity game engine and the ML-Agents toolkit. Experiments demonstrate that the agent can successfully learn a meaningful policy to avoid obstacles using images. |
id |
USP_fc2b2465facc47bd246acc157155512e |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-30082021-100712 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement LearningDesvio de Obstáculo para um Manipulador Robótico utilizando Visão e Aprendizado por Reforço Profundo Ponta-a-PontaAprendizado por reforço profundoControle de movimentoDeep reinforcement learningDesvio de obstáculosManipuladores robóticosMotion controlObstacle avoidanceRobot manipulatorsRobot visionVisão robóticaRecent changes in industrial paradigms enforce that robots must be intelligent and capable of decision-making. Robotic manipulators need to satisfy many requirements for operating properly. Perhaps the most fundamental one is the capability of operating in its environment without collisions. In this work, we perform visual obstacle avoidance on goal-reaching tasks of a robotic manipulator using an end-to-end Deep Reinforcement Learning model. The motion control policy is responsible for reaching a target position while at the same time avoiding an obstacle positioned randomly in the scene. This policy uses vision and proprioceptive sensor data to operate. We train the reinforcement learning agent using Twin-Delayed DDPG (TD3) algorithm in a simulated environment, utilizing the Unity game engine and the ML-Agents toolkit. Experiments demonstrate that the agent can successfully learn a meaningful policy to avoid obstacles using images.Mudanças recentes nos paradigmas industriais esperam que os robôs sejam inteligentes e capazes de tomar decisões. Os manipuladores robóticos precisam satisfazer muitos requisitos para operar adequadamente. Talvez o mais fundamental seja a capacidade de operar em seu ambiente sem colisões. Neste trabalho, evitamos obstáculos visuais em tarefas de alcance de meta de um manipulador robótico usando um modelo de Aprendizado por Reforço Profundo de ponta-aponta. A política de controle de movimento é responsável por atingir uma posição alvo e, ao mesmo tempo, evitar um obstáculo posicionado aleatoriamente na cena. Esta política usa dados de sensores proprioceptivos e de visão para operar. O agente de aprendizagem por reforço foi treinado através do algoritmo Twin-Delayed DDPG (TD3) em um ambiente simulado, utilizando a game engine Unity e o framework ML-Agents. Experimentos demonstram que o agente pode aprender com sucesso uma política significativa para evitar obstáculos usando imagens.Biblioteca Digitais de Teses e Dissertações da USPRomero, Roseli Aparecida FrancelinSanches, Felipe Padula2021-06-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-30082021-100712/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-08-30T13:21:02Zoai:teses.usp.br:tde-30082021-100712Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-08-30T13:21:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning Desvio de Obstáculo para um Manipulador Robótico utilizando Visão e Aprendizado por Reforço Profundo Ponta-a-Ponta |
title |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
spellingShingle |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning Sanches, Felipe Padula Aprendizado por reforço profundo Controle de movimento Deep reinforcement learning Desvio de obstáculos Manipuladores robóticos Motion control Obstacle avoidance Robot manipulators Robot vision Visão robótica |
title_short |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
title_full |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
title_fullStr |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
title_full_unstemmed |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
title_sort |
End-to-End Visual Obstacle Avoidance for a Robotic Manipulator using Deep Reinforcement Learning |
author |
Sanches, Felipe Padula |
author_facet |
Sanches, Felipe Padula |
author_role |
author |
dc.contributor.none.fl_str_mv |
Romero, Roseli Aparecida Francelin |
dc.contributor.author.fl_str_mv |
Sanches, Felipe Padula |
dc.subject.por.fl_str_mv |
Aprendizado por reforço profundo Controle de movimento Deep reinforcement learning Desvio de obstáculos Manipuladores robóticos Motion control Obstacle avoidance Robot manipulators Robot vision Visão robótica |
topic |
Aprendizado por reforço profundo Controle de movimento Deep reinforcement learning Desvio de obstáculos Manipuladores robóticos Motion control Obstacle avoidance Robot manipulators Robot vision Visão robótica |
description |
Recent changes in industrial paradigms enforce that robots must be intelligent and capable of decision-making. Robotic manipulators need to satisfy many requirements for operating properly. Perhaps the most fundamental one is the capability of operating in its environment without collisions. In this work, we perform visual obstacle avoidance on goal-reaching tasks of a robotic manipulator using an end-to-end Deep Reinforcement Learning model. The motion control policy is responsible for reaching a target position while at the same time avoiding an obstacle positioned randomly in the scene. This policy uses vision and proprioceptive sensor data to operate. We train the reinforcement learning agent using Twin-Delayed DDPG (TD3) algorithm in a simulated environment, utilizing the Unity game engine and the ML-Agents toolkit. Experiments demonstrate that the agent can successfully learn a meaningful policy to avoid obstacles using images. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-06-28 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30082021-100712/ |
url |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30082021-100712/ |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1809091205607194624 |