Aprendizagem profunda por reforço combinada com controlador recursivo robusto para controle lateral baseado em visão computacional

• Autor(a) principal: Morais, Gustavo Alves Prudencio de
• Data de Publicação: 2020
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: https://www.teses.usp.br/teses/disponiveis/18/18153/tde-25082020-092618/
• topic: Algoritmos evolucionários; Aprendizagem profunda por reforço; Autonomous vehicles; Controle baseado em visão; Deep reinforcement learning; Evolutionary algorithms; Linear Quadratic Regulator; Regulador linear Quadrático; Regulador Linear Quadrático Robusto; Robust Linear Quadratic Regulator; Veículos autônomos; Vision-based control

Tecnologias na área de robótica móvel, como veículos autônomos, impactam diretamente na qualidade de vida e na mudança de comportamentos sociais, por isso, se mantêm como uma área promissora para a indústria. Mesmo com este cenário otimista, ainda existem muitos desafios relacionados à segurança que necessitam ser supridos para tornar essa tecnologia viável, como o desenvolvimento de técnicas de controle baseadas em visão para agentes autônomos. Algumas áreas de pesquisa estão propondo soluções a partir de métodos de aprendizagem de máquinas, como Aprendizagem Profunda por Reforço (APR), no entanto, algoritmos de APR ainda apresentam baixo desempenho em simuladores urbanos e realistas. Neste contexto, este trabalho propõe um modelo híbrido que combina APR com um Regulador Linear Quadrático (RLQ) padrão. O modelo definido utiliza algoritmos de aprendizagem de máquinas para extrair características de imagens e, na sequência, estas características são interpretadas como medidas de erro a serem minimizadas pelo controlador. Ademais, um segundo controlador híbrido é proposto, onde é aplicado robustez ao modelo anterior utilizando um Regulador Linear Quadrático Robusto (RLQR) e, devido à dinâmica desconhecida do sistema, o modelo realiza uma busca evolucionária para estimar as matrizes de incerteza do modelo. Desta forma, as entradas para cada sistema de controle são imagens de uma câmera RGB em tempo real, e suas saídas são ações contínuas de esterçamento do volante para manter o veículo com velocidade constante no centro da via. Os resultados experimentais obtidos mostram que o controle RLQ híbrido superou o controle realizado pelo algoritmo de APR implementado, que apresentou o maior erro de trajetória no cenário de treino e não foi capaz de generalizar suas ações no cenário de teste. Por fim, ao adicionar robustez ao controlador por meio do RLQR híbrido, obteve-se menos sensibilidade a distúrbios e, em todos os testes realizados, as colisões foram reduzidas a zero.