Piloto baseado em aprendizagem por reforço para o simulador de corridas TORCS

• Autor(a) principal: Daros, Vinícius Kiwi
• Data de Publicação: 2015
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-18032016-134549/
• topic: AI; Aprendizagem por reforço; Corrida; Game; IA; Jogos; Learning; Race; Reinforcement; TORCS; TORCS

Corrida de carros e um gênero popular de jogos eletrônicos e um domínio com vários desafios a serem explorados no âmbito da Inteligência Artificial (IA), tendo recebido atenção crescente nos últimos anos. Naturalmente, um desses desafios e criar pilotos virtuais capazes de aprender sozinhos a correr nas pistas. Neste projeto de mestrado, nos adaptamos e aplicamos técnicas de Aprendizagem por Reforço (Reinforcement Learning) no desenvolvimento de um agente completamente autônomo capaz de correr em pistas de vários formatos dentro do simulador TORCS. Esse jogo de código aberto possui um sistema de física muito elaborado e permite a criação de módulos de IA para controlar os carros, sendo assim um ambiente de testes frequentemente adotado para pesquisas nesse contexto. O objetivo do nosso agente e encontrar ações de controle do acelerador e freio a fim de gastar o menor tempo possível em cada volta. Para atingir tal meta, ele coleta dados na primeira volta, gera um modelo do circuito, segmenta e classifica cada trecho da pista e, finalmente, da voltas no percurso ate atingir um comportamento consistente. Além das questões relacionadas a aprendizagem, este trabalho explora conceitos de Sistemas de Controle, em especial controladores PID (Proporcional, Integrativo, Derivativo), usados para a implementação da heurística do manejo do volante. Também abordamos os fundamentos de alguns assistentes de direção, tais como ABS (Anti-lock Braking System) e controle de estabilidade. Esses princípios são de grande importância para tornar o agente capaz de guiar o carro dentro de um ambiente com simulação física tão próxima a realidade. Nesse ponto e no emprego do sensoriamento para a aquisição de dados, nosso trabalho flerta com a área de Robótica Móvel. Por fim, avaliamos o desempenho de nosso piloto virtual comparando seus resultados com os de controladores baseados em outras técnicas.