Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço

Detalhes bibliográficos
Autor(a) principal: Carvalho, Jonattan Alves de
Data de Publicação: 2022
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/238118
Resumo: TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Eletrônica.
id UFSC_3ba84e0632bf3f6faa4de62d7352d861
oai_identifier_str oai:repositorio.ufsc.br:123456789/238118
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforçopêndulo-invertidomodelocontroleinteligência-artificialaprendizado-por-reforçoinverted-pendulummodelcontrolartificial-intelligencereinforcement-learningTCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Eletrônica.Este trabalho trata de uma pesquisa experimental de simulação virtual com um modelo robótico do tipo pêndulo invertido sobre duas rodas paralelas. O equilíbrio deste sistema compõe uma tarefa clássica para a área de controle. Neste sistema, devido as propriedades como não linearidade e instabilidade, existem dificuldades para a aplicação de diversos algoritmos de controle clássico. Neste contexto, propõe-se uma abordagem alternativa para este sistema, com controladores baseados em inteligência artificial. O robô foi modelado em espaço de estados com base em leis de Newton e circuitos elétricos, incluindo parâmetros como momentos de inércia, indutância do motor, forças de atrito e efeitos da redução mecânica. Para tornar o modelo mais realista, os parâmetros do motor foram determinados a partir de um motor real. Neste modelo, o objetivo foi controlar tanto a inclinação como a posição do robô, definida em relação ao plano em que este se desloca. Para isso, aplicou-se dois algoritmos de aprendizado por reforço, Double Deep Q-Network, que utiliza redes neurais artificiais para tratar o espaço de estados de forma contínua e Twin Delayed Deep Deterministic Policy Gradient, que atua com estados e ações em domínio contínuo. Desta forma, solucionou-se a tarefa de controle através de aprendizado por tentativa e erro, sem necessidade de conhecimentos prévios sobre o sistema. A performance dos controladores resultantes, assim como a eficiência de seus treinamentos, foi avaliada com múltiplas simulações. Além disso, verificou-se o efeito de ruídos em medidas de sensores utilizados em aplicações práticas e a aplicação de um sinal de entrada para controlar a posição do robô. Por fim, avaliou-se efeitos de modificações na função que caracteriza o objetivo dos controladores. Assim, foi concluído que os algoritmos aplicados possuem potencial para superar controladores clássicos em diversos aspectos. Porém, estes métodos também apresentam dificuldades em suas implementações.This work presents an experimental research of virtual simulation with a robotic model of the type inverted pendulum on two parallel wheels. The balance of this system is a classic task for the control area. In this system, due to properties such as nonlinearity and instability, there are difficulties in the application of several classical control algorithms. In this context, an alternative approach to this system is proposed, with controllers based on artificial intelligence. The robot was modeled in state space based on Newton’s laws and electrical circuits, including parameters such as moments of inertia, motor inductance, friction forces and effects of mechanical reduction. To make the model more realistic, the motor parameters were derived from a real engine. In this model, the objective was to control both the inclination and the position of the robot, defined in relation to the plane in which it moves. For this, two reinforcement learning algorithms were applied, Double Deep Q-Network, which uses artificial neural networks to treat the state space continuously and Twin Delayed Deep Deterministic Policy Gradient, which works with states and actions in a continuous domain. Therefore, the control task was solved through trial and error learning, without the need for previous knowledge about the system. The performance of the resulting controllers, as well as the efficiency of their training, was evaluated with multiple simulations. In addition, the effect of noise on sensor measurements used in practical applications and the application of an input signal to control the robot’s position was verified. Finally, the effects of changes in the function that characterize the objective of the controllers were evaluated. Thus, it was concluded that the applied algorithms have the potential to overcome classical controllers in several aspects. However, these methods also present difficulties in their implementation.Florianópolis, SCMoreto, MiguelUniversidade Federal de Santa CatarinaCarvalho, Jonattan Alves de2022-08-10T13:44:17Z2022-08-10T13:44:17Z2022-08-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis93 f.application/pdfhttps://repositorio.ufsc.br/handle/123456789/238118info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2022-08-10T13:44:17Zoai:repositorio.ufsc.br:123456789/238118Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732022-08-10T13:44:17Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
title Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
spellingShingle Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
Carvalho, Jonattan Alves de
pêndulo-invertido
modelo
controle
inteligência-artificial
aprendizado-por-reforço
inverted-pendulum
model
control
artificial-intelligence
reinforcement-learning
title_short Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
title_full Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
title_fullStr Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
title_full_unstemmed Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
title_sort Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço
author Carvalho, Jonattan Alves de
author_facet Carvalho, Jonattan Alves de
author_role author
dc.contributor.none.fl_str_mv Moreto, Miguel
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Carvalho, Jonattan Alves de
dc.subject.por.fl_str_mv pêndulo-invertido
modelo
controle
inteligência-artificial
aprendizado-por-reforço
inverted-pendulum
model
control
artificial-intelligence
reinforcement-learning
topic pêndulo-invertido
modelo
controle
inteligência-artificial
aprendizado-por-reforço
inverted-pendulum
model
control
artificial-intelligence
reinforcement-learning
description TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Eletrônica.
publishDate 2022
dc.date.none.fl_str_mv 2022-08-10T13:44:17Z
2022-08-10T13:44:17Z
2022-08-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/238118
url https://repositorio.ufsc.br/handle/123456789/238118
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 93 f.
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC
publisher.none.fl_str_mv Florianópolis, SC
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652329447063552

Registros relacionados