Beyond Star: um modelo de arquitetura de aprendizado para generalização de estratégias em jogos RTS

• Autor(a) principal: Araújo, Marco Antônio Silva e
• Data de Publicação: 2020
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFRN
• Texto Completo: https://repositorio.ufrn.br/handle/123456789/32142
• topic: Generalização; Aprendizado por reforço; StarCraft

Um dos principais campos de pesquisa em Inteligência Artificial, no contexto dos jogos digitais, consiste no estudo dos Jogos de Estratégia em Tempo Real (RTS), que são comumente considerados sucessores dos jogos de estratégia clássicos tais como Damas, Xadrez, Gamão e Go, e impõem grandes desafios aos pesquisadores da área devido à grande complexidade envolvida. Atualmente, a área procura estudar os RTS utilizando os jogos StarCraft I e StarCraft II como palco para experimentação. A principal característica procurada nos agentes artificiais desenvolvidos para este tipo de jogo é o alto desempenho, tendo como objetivo derrotar jogadores humanos especialistas. Neste contexto se insere a problemática da generalização, que é a capacidade de um agente artificial reaproveitar experiências anteriores, oriundas de ambientes diferentes, para um novo ambiente. A generalização é um campo bastante estudado pela comunidade científica, mas ainda pouco explorado no contexto dos RTS. Por esta razão, este trabalho propõe o modelo Beyond Star, que consiste em uma arquitetura para representação genérica do espaço de estados e ações de jogos de estratégia de tempo real, usando como base técnicas de aprendizado por reforço profundo com o intuito de aprender estratégias eficazes nos mais variados ambientes de jogos RTS. Como base para a arquitetura, foi desenvolvida uma plataforma intitulada URNAI, ferramenta que integra diversos algoritmos de aprendizado de máquina e diversos ambientes diferentes de jogos, como StarCraft II e DeepRTS. Para analisar se a solução é capaz de permitir a generalização de agentes, experimentos foram realizados com StarCraft II e DeepRTS. Os resultados demonstram que os agentes treinados foram capazes de generalizar seu conhecimento de um ambiente para outro, demonstrando um resultado promissor que permite validar a proposta deste trabalho.