[en] HIERARQUICAL NEURO-FUZZY MODELS BASED ON REINFORCEMENT LEARNING FOR INTELLIGENT AGENTS

• Autor(a) principal: KARLA TEREZA FIGUEIREDO LEITE
• Data de Publicação: 2003
• Tipo de documento: Outros
• Idioma: por
• Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
• Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=3729@1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=3729@2; http://doi.org/10.17771/PUCRio.acad.3729
• topic: [pt] AGENTE INTELIGENTE; [pt] NEURO-FUZZY; [pt] APRENDIZADO AUTOMATICO; [en] INTELLIGENT AGENT; [en] NEURO-FUZZY; [en] AUTOMATIC LEARNING

[pt] Esta tese investiga modelos híbridos neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo dos modelos é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). O aprendizado desses modelos é realizado através de processo não-supervisionado denominado Aprendizado por Reforço (RL: Reinforcement Learning). Esta nova proposta de modelos neuro-fuzzy apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprender a ação a ser tomada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras lingüísticas com hierarquia. O trabalho envolveu três etapas principais: levantamento bibliográfico e estudo de modelos de aprendizado; definição e implementação de dois novos modelos neuro-fuzzy hierárquicos baseados em RL; e estudo de casos. O levantamento bibliográfico e o estudo de modelos de aprendizado foi feito a partir dos modelos usados em agentes (com o objetivo de ampliar a ação autônoma) e em espaço de estados grande e/ou contínuo. A definição dos dois novos modelos neuro-fuzzy foi motivada pela importância de se estender a capacidade autônoma de agentes através do quesito inteligência, em particular a capacidade de aprendizado. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Tais ambientes apresentam uma característica denominada curse of dimensionality que inviabiliza a aplicação direta de métodos tradicionais de RL. Assim sendo, a decisão de se usar uma metodologia de particionamento recursivo, já explorada com excelentes resultados em Souza (1999), que reduz significativamente as limitações dos sistemas neuro-fuzzy existentes, foi de fundamental importância para este trabalho. Optou-se pelos particionamentos BSP e Quadtree/Politree, gerando os dois modelos RL-NFHB (Reinforcement Learning - Neuro-Fuzzy Hierárquico BSP) e RL-NFHP (Reinforcement Learning - Neuro-Fuzzy Hierárquico Politree). Estes dois novos modelos são derivados dos modelos neuro-fuzzy hierárquicos NFHB e NFHQ (Souza, 1999) que utilizam aprendizado supervisionado. Com o uso desses métodos de particionamento, associados ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. No estudo de casos, os dois modelos foram testados em 3 aplicações benckmark e uma aplicação em robótica. As aplicações benchmark são referentes a 3 problemas de sistemas de controle: o carro na montanha (mountain cart problem), estacionamento do carro (cart-centering problem) e o pêndulo invertido. A aplicação em robótica utilizou o modelo Khepera. A implementação dos modelos RL-NFHB e RL- NFHP foi feita em linguagem Java em microcomputadores com plataforma Windows 2000. Os testes efetuados demonstram que estes novos modelos se ajustam bem a problemas de sistemas de controle e robótica, apresentando boa generalização e gerando sua própria estrutura hierárquica de regras com interpretação lingüística. Além disso, o aprendizado automático do ambiente dota o agente de inteligência - (base de conhecimento, raciocínio e aprendizado), característica que aumenta a capacidade autônoma deste agente. A área de sistemas neuro-fuzzy hie