[en] METHODS FOR ACCELERATION OF LEARNING PROCESS OF REINFORCEMENT LEARNING NEURO-FUZZY HIERARCHICAL POLITREE MODEL

• Autor(a) principal: FABIO JESSEN WERNECK DE ALMEIDA MARTINS
• Data de Publicação: 2010
• Tipo de documento: Outros
• Idioma: por
• Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
• Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=16421@1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=16421@2; http://doi.org/10.17771/PUCRio.acad.16421
• topic: [pt] APRENDIZADO POR REFORCO; [pt] NEURO-FUZZY; [pt] APRENDIZADO AUTOMATICO; [pt] AGENTE INTELIGENTE; [en] REINFORCEMENT LEARNING; [en] NEURO-FUZZY; [en] AUTOMATIC LEARNING; [en] INTELLIGENT AGENT

[pt] Neste trabalho foram desenvolvidos e avaliados métodos com o objetivo de melhorar e acelerar o processo de aprendizado do modelo de Reinforcement Learning Neuro-Fuzzy Hierárquico Politree (RL-NFHP). Este modelo pode ser utilizado para dotar um agente de inteligência através de processo de Aprendizado por Reforço (Reinforcement Learning). O modelo RL-NFHP apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprendizado da ação a ser adotada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras linguísticas com hierarquia. Com intenção de melhorar e acelerar o processo de aprendizado do modelo foram implementadas seis políticas de seleção, sendo uma delas uma inovação deste trabalho (Q-DC-roulette); implementado o método early stopping para determinação automática do fim do treinamento; desenvolvido o eligibility trace cumulativo; criado um método de poda da estrutura, para eliminação de células desnecessárias; além da reescrita do código computacional original. O modelo RL-NFHP modificado foi avaliado em três aplicações: o benchmark Carro na Montanha simulado, conhecido na área de agentes autônomos; uma simulação robótica baseada no robô Khepera; e uma num robô real NXT. Os testes efetuados demonstram que este modelo modificado se ajustou bem a problemas de sistemas de controle e robótica, apresentando boa generalização. Comparado o modelo RL-NFHP modificado com o original, houve aceleração do aprendizado e obtenção de menores modelos treinados.