Comparação do desempenho de algoritmos de aprendizado de máquina por reforço e por imitação na simulação de veleiros autônomos

• Autor(a) principal: Méxas, Rodrigo Picinini
• Data de Publicação: 2021
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da Universidade Federal Fluminense (RIUFF)
• Texto Completo: https://app.uff.br/riuff/handle/1/23361
• topic: Aprendizado de máquina; Aprendizado por reforço; Unity; ML-Agents; PPO; SAC; BC; GAIL; Aprendizado por imitação; Veleiro autônomo; Veículo de superfície não-tripulado; Aprendizado de máquina; Inteligência artificial; Barco à vela; Machine learning; Reinforcement learning; Autonomous sailboat; Unmanned surface vehicle

Este projeto visa ao estudo de desempenho de dois algoritmos de aprendizado de máquina por reforço, denominados Proximal Policy Optimization e Soft Actor Critic, na simulação de veleiros autônomos e sua resposta às diferentes direções do vento enquanto desviam de obstáculos detectados por análise de imagens. Também, estuda-se o efeito dos algoritmos de aprendizado por imitação Behavioral Cloning e Generative Adversarial Imitation Learning junto aos primeiros algoritmos citados. Utilizam-se para o desenvolvimento a plataforma Unity® e o toolkit de aprendizado de máquina ML-Agents. A metodologia que guia o projeto pode ser aplicada de forma similar para outros problemas de aprendizado por reforço. Por meio do treinamento do agente é possível comparar os resultados e observar que o Proximal Policy Optimization obtém melhor desempenho dentro dos cenários propostos, tanto com e sem o apoio dos algoritmos de aprendizado de imitação