| spelling |
Luiz ChaimowiczPedro Olmo Stancioli Vaz de MeloGisele Lobo PappaAnna Helena Reali CostaLevi Henrique Santana de LelisBruno Castro da SilvaAnderson Rocha Tavares2019-08-12T13:50:50Z2019-08-12T13:50:50Z2018-08-10http://hdl.handle.net/1843/SLSC-BBWPRRJogos digitais complexos, com representação de estados em alta resolução, grande número de ações e necessidade de raciocínio em diferentes escalas temporais contra um oponente, apresentam muitos desafios não resolvidos em inteligência artificial. Estes desafios deram surgimento a uma variedade de algoritmos, especializados em diferentes aspectos de um jogo. Jogadores humanos prosperam nesses jogos ao recorrerem a um repertório de estratégias, ou linhas de ação, previamente treinadas e por conseguirem generalizar respostas por analogia entre situações imprevistas e familiares. Esta tese apresenta uma versão computacional do comportamento humano: primeiramente, substituímos o repertório humano de estratégias por um portfólio de algoritmos, modelando o jogo como um problema de seleção de algoritmos com adversário em um arcabouço de aprendizado por reforço. Em seguida, usamos esquemas conhecidos de aproximação de funções para promover respostas similares a estados similares do jogo. Nosso arcabouço hierárquico para tomada de decisão usa algoritmos existentes, buscando descobrir o melhor em cada situação do jogo, potencialmente resultando em um desempenho melhor que um algoritmo sozinho poderia atingir. Demonstramos as vantagens da seleção de algoritmos de acordo com o número de ações no domínio, o tamanho do portfólio e a competência dos algoritmos, através de experimentos em um problema sintético. Além disso, instanciamos nosso arcabouço em jogos de estratégia em tempo real - possivelmente o tipo de jogo digital mais complexo - no qual um jogador deve estrategicamente desenvolver sua economia e rapidamente manobrar unidades em combates. Nosso arcabouço permite a discussão de aspectos de teoria dos jogos em seleção de algoritmos, no sentido de antecipar as escolhas de um oponente que também selecione algoritmos, além de alavancar o desempenho de inteligência artificial em jogos de estratégia em tempo real, ao derrotar de maneira consistente o estado da arte em abordagens de busca em árvores de jogos.Complex computer games, with high-resolution state representations, a large number of actions and the need of reasoning in different temporal scales against an opponent, present many unsolved challenges to artificial intelligence. Those challenges gave rise to a variety of algorithms, specialized in different aspects of a game. Human players succeed at such games by resorting to previously trained strategies, or lines of actions, and excel at generalizing responses by analogy between unforeseen and familiar situations. This thesis presents a computational version of the human behavior: first, we replace the human repertoire of strategies by a portfolio of algorithms, modeling game-playing as an adversarial algorithm selection problem in a reinforcement learning framework. Second, we use known function approximation schemes to promote similar responses to similar game states. Our hierarchical decision-making framework makes use of existing algorithms, aiming to discover the best in each game situation, potentially resulting in a stronger performance than a single algorithm could reach. We demonstrate the advantages of algorithm selection according to the number of actions in the domain, the portfolio size, and algorithms' strength, via experiments in a synthetic problem. Moreover, we instantiate our framework in real-time strategy games - possibly the most complex type of computer game - where a player must strategically develop its economy and quickly maneuver its units in combat. Our framework allows the discussion of game-theoretic aspects of algorithm selection, in the sense of anticipating the choices of an algorithm-selector opponent, and leverages the performance of artificial intelligence in real-time strategy games by consistently outperforming state-of-the-art game-tree search approaches.Universidade Federal de Minas GeraisUFMGSeleção de algoritmosInteligência ArtificialAprendizado por reforçoJogos digitaisComputaçãoSeleção de AlgoritmosJogos DigitaisInteligência ArtificialAprendizado por ReforçoStrategic reasoning in complex zero-sum computer gamesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALandersonrochatavares.pdfapplication/pdf3169729https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/1/andersonrochatavares.pdfea962cafb7cef2d17c09c28b4553a674MD51TEXTandersonrochatavares.pdf.txtandersonrochatavares.pdf.txtExtracted texttext/plain270214https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/2/andersonrochatavares.pdf.txt8e8ec5c61284ab0bc09772ff9d468000MD521843/SLSC-BBWPRR2019-11-14 18:03:55.157oai:repositorio.ufmg.br:1843/SLSC-BBWPRRRepositório InstitucionalPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T21:03:55Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
|