[en] HIERARCHICAL NEURAL FUZZY MODELS BASED ON REINFORCEMENT LEARNING OF INTELLIGENT AGENTS

• Autor(a) principal: MARCELO FRANCA CORREA
• Data de Publicação: 2013
• Tipo de documento: Outros
• Idioma: por
• Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
• Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=21194@1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=21194@2; http://doi.org/10.17771/PUCRio.acad.21194
• topic: [pt] APRENDIZADO POR REFORCO; [pt] NEURO-FUZZY; [pt] AGENTE INTELIGENTE; [pt] SISTEMAS MULTI-AGENTES; [en] REINFORCEMENT LEARNING; [en] NEURO-FUZZY; [en] INTELLIGENT AGENT; [en] MULTI-AGENT SYSTEMS

[pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são diversos. Através da computação paralela, agentes podem trabalhar em conjunto para explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua conclusão. Além disso, agentes também podem trocar experiências se comunicando, fornecer alto grau de escalabilidade, através da inclusão de novos agentes quando necessário, e ainda fazer com que agentes assumam as atividades de outros agentes em casos de falha. Vários modelos de agentes desenvolvidos até o momento usam o aprendizado por reforço como algoritmo base no processo de aprendizado. Quando o agente está inserido em ambientes pequenos ou discretos, os resultados obtidos com o uso de métodos como Q-learning são satisfatórios. No entanto, quando o ambiente é grande ou contínuo, o uso de métodos de aprendizado por reforço torna-se inviável, devido à grande dimensão do espaço de estados. Nos SMA, este problema é consideravelmente maior, já que a memória necessária passa a crescer exponencialmente com a quantidade de agentes envolvidos na aplicação. Esta tese teve como finalidade o desenvolvimento de um novo modelo de aprendizado autônomo para Sistemas Multi-Agentes (SMA) visando superar estas limitações. O trabalho foi realizado em três etapas principais: levantamento bibliográfico, seleção e implementação do modelo proposto, e desenvolvimento de estudo de casos. O levantamento bibliográfico contemplou o estudo de agentes inteligentes e Sistemas Multi-Agentes, buscando identificar as propriedades e limitações dos algoritmos já desenvolvidos, as aplicações existentes, e as características desejadas em um SMA. A seleção e utilização de um modelo neuro-fuzzy hierárquico da família RL-NFH foi motivada especialmente pela importância de se estender a autonomia e aprendizado de agentes através do quesito inteligência, e pela sua capacidade de superar limitações presentes em algoritmos de aprendizado por reforço tradicionais. Inicialmente, ao modelo anterior foram adicionados os conceitos de satisfatoriedade e não-dominação, com a finalidade de acelerar o processo de aprendizado do algoritmo. Em seguida, o novo modelo multi-agente foi criado, viabilizando o desenvolvimento de aplicações de natureza tanto cooperativa como competitiva, com múltiplos agentes. Os estudos de caso contemplaram situações distintas de cooperação e competição entre agentes autônomos. Foram implementadas três aplicações distintas: uma aplicação benckmark do jogo da presa-predador (Pursuit-Game); um leilão energia elétrica, em que os fornecedores de energia fazem ofertas para atender à previsão de demanda em um período de tempo determinado; e uma aplicação na área de gerenciamento de projetos, onde agentes inteligentes são criados com o objetivo de fornecer estimativas de duração de atividades e automatizar alguns processos realizados pelo Gerente de Projetos. Em todos os Estudos de Caso, os resultados foram comparados com técnicas convencionais e/ou com o desempenho de outros Sistemas Multi-Agente. Os resultados alcançados pelo novo modelo se mostraram promissores. Os testes evidenciaram que o modelo teve a capacidade de coordenar as ações entre agentes totalmente autônomos em diferentes situações e ambientes. Além disso, o novo modelo mostrou-se genérico e flexível, podendo ser usado no futuro em outras aplicações envolvendo múltiplos agentes.