Strategic reasoning in complex zero-sum computer games

Detalhes bibliográficos
Autor(a) principal: Anderson Rocha Tavares
Data de Publicação: 2018
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/SLSC-BBWPRR
Resumo: Jogos digitais complexos, com representação de estados em alta resolução, grande número de ações e necessidade de raciocínio em diferentes escalas temporais contra um oponente, apresentam muitos desafios não resolvidos em inteligência artificial. Estes desafios deram surgimento a uma variedade de algoritmos, especializados em diferentes aspectos de um jogo. Jogadores humanos prosperam nesses jogos ao recorrerem a um repertório de estratégias, ou linhas de ação, previamente treinadas e por conseguirem generalizar respostas por analogia entre situações imprevistas e familiares. Esta tese apresenta uma versão computacional do comportamento humano: primeiramente, substituímos o repertório humano de estratégias por um portfólio de algoritmos, modelando o jogo como um problema de seleção de algoritmos com adversário em um arcabouço de aprendizado por reforço. Em seguida, usamos esquemas conhecidos de aproximação de funções para promover respostas similares a estados similares do jogo. Nosso arcabouço hierárquico para tomada de decisão usa algoritmos existentes, buscando descobrir o melhor em cada situação do jogo, potencialmente resultando em um desempenho melhor que um algoritmo sozinho poderia atingir. Demonstramos as vantagens da seleção de algoritmos de acordo com o número de ações no domínio, o tamanho do portfólio e a competência dos algoritmos, através de experimentos em um problema sintético. Além disso, instanciamos nosso arcabouço em jogos de estratégia em tempo real - possivelmente o tipo de jogo digital mais complexo - no qual um jogador deve estrategicamente desenvolver sua economia e rapidamente manobrar unidades em combates. Nosso arcabouço permite a discussão de aspectos de teoria dos jogos em seleção de algoritmos, no sentido de antecipar as escolhas de um oponente que também selecione algoritmos, além de alavancar o desempenho de inteligência artificial em jogos de estratégia em tempo real, ao derrotar de maneira consistente o estado da arte em abordagens de busca em árvores de jogos.
id UFMG_dafc8959548c5c8daf28beda374aedc1
oai_identifier_str oai:repositorio.ufmg.br:1843/SLSC-BBWPRR
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Luiz ChaimowiczPedro Olmo Stancioli Vaz de MeloGisele Lobo PappaAnna Helena Reali CostaLevi Henrique Santana de LelisBruno Castro da SilvaAnderson Rocha Tavares2019-08-12T13:50:50Z2019-08-12T13:50:50Z2018-08-10http://hdl.handle.net/1843/SLSC-BBWPRRJogos digitais complexos, com representação de estados em alta resolução, grande número de ações e necessidade de raciocínio em diferentes escalas temporais contra um oponente, apresentam muitos desafios não resolvidos em inteligência artificial. Estes desafios deram surgimento a uma variedade de algoritmos, especializados em diferentes aspectos de um jogo. Jogadores humanos prosperam nesses jogos ao recorrerem a um repertório de estratégias, ou linhas de ação, previamente treinadas e por conseguirem generalizar respostas por analogia entre situações imprevistas e familiares. Esta tese apresenta uma versão computacional do comportamento humano: primeiramente, substituímos o repertório humano de estratégias por um portfólio de algoritmos, modelando o jogo como um problema de seleção de algoritmos com adversário em um arcabouço de aprendizado por reforço. Em seguida, usamos esquemas conhecidos de aproximação de funções para promover respostas similares a estados similares do jogo. Nosso arcabouço hierárquico para tomada de decisão usa algoritmos existentes, buscando descobrir o melhor em cada situação do jogo, potencialmente resultando em um desempenho melhor que um algoritmo sozinho poderia atingir. Demonstramos as vantagens da seleção de algoritmos de acordo com o número de ações no domínio, o tamanho do portfólio e a competência dos algoritmos, através de experimentos em um problema sintético. Além disso, instanciamos nosso arcabouço em jogos de estratégia em tempo real - possivelmente o tipo de jogo digital mais complexo - no qual um jogador deve estrategicamente desenvolver sua economia e rapidamente manobrar unidades em combates. Nosso arcabouço permite a discussão de aspectos de teoria dos jogos em seleção de algoritmos, no sentido de antecipar as escolhas de um oponente que também selecione algoritmos, além de alavancar o desempenho de inteligência artificial em jogos de estratégia em tempo real, ao derrotar de maneira consistente o estado da arte em abordagens de busca em árvores de jogos.Complex computer games, with high-resolution state representations, a large number of actions and the need of reasoning in different temporal scales against an opponent, present many unsolved challenges to artificial intelligence. Those challenges gave rise to a variety of algorithms, specialized in different aspects of a game. Human players succeed at such games by resorting to previously trained strategies, or lines of actions, and excel at generalizing responses by analogy between unforeseen and familiar situations. This thesis presents a computational version of the human behavior: first, we replace the human repertoire of strategies by a portfolio of algorithms, modeling game-playing as an adversarial algorithm selection problem in a reinforcement learning framework. Second, we use known function approximation schemes to promote similar responses to similar game states. Our hierarchical decision-making framework makes use of existing algorithms, aiming to discover the best in each game situation, potentially resulting in a stronger performance than a single algorithm could reach. We demonstrate the advantages of algorithm selection according to the number of actions in the domain, the portfolio size, and algorithms' strength, via experiments in a synthetic problem. Moreover, we instantiate our framework in real-time strategy games - possibly the most complex type of computer game - where a player must strategically develop its economy and quickly maneuver its units in combat. Our framework allows the discussion of game-theoretic aspects of algorithm selection, in the sense of anticipating the choices of an algorithm-selector opponent, and leverages the performance of artificial intelligence in real-time strategy games by consistently outperforming state-of-the-art game-tree search approaches.Universidade Federal de Minas GeraisUFMGSeleção de algoritmosInteligência ArtificialAprendizado por reforçoJogos digitaisComputaçãoSeleção de AlgoritmosJogos DigitaisInteligência ArtificialAprendizado por ReforçoStrategic reasoning in complex zero-sum computer gamesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALandersonrochatavares.pdfapplication/pdf3169729https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/1/andersonrochatavares.pdfea962cafb7cef2d17c09c28b4553a674MD51TEXTandersonrochatavares.pdf.txtandersonrochatavares.pdf.txtExtracted texttext/plain270214https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/2/andersonrochatavares.pdf.txt8e8ec5c61284ab0bc09772ff9d468000MD521843/SLSC-BBWPRR2019-11-14 18:03:55.157oai:repositorio.ufmg.br:1843/SLSC-BBWPRRRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T21:03:55Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Strategic reasoning in complex zero-sum computer games
title Strategic reasoning in complex zero-sum computer games
spellingShingle Strategic reasoning in complex zero-sum computer games
Anderson Rocha Tavares
Seleção de Algoritmos
Jogos Digitais
Inteligência Artificial
Aprendizado por Reforço
Seleção de algoritmos
Inteligência Artificial
Aprendizado por reforço
Jogos digitais
Computação
title_short Strategic reasoning in complex zero-sum computer games
title_full Strategic reasoning in complex zero-sum computer games
title_fullStr Strategic reasoning in complex zero-sum computer games
title_full_unstemmed Strategic reasoning in complex zero-sum computer games
title_sort Strategic reasoning in complex zero-sum computer games
author Anderson Rocha Tavares
author_facet Anderson Rocha Tavares
author_role author
dc.contributor.advisor1.fl_str_mv Luiz Chaimowicz
dc.contributor.referee1.fl_str_mv Pedro Olmo Stancioli Vaz de Melo
dc.contributor.referee2.fl_str_mv Gisele Lobo Pappa
dc.contributor.referee3.fl_str_mv Anna Helena Reali Costa
dc.contributor.referee4.fl_str_mv Levi Henrique Santana de Lelis
dc.contributor.referee5.fl_str_mv Bruno Castro da Silva
dc.contributor.author.fl_str_mv Anderson Rocha Tavares
contributor_str_mv Luiz Chaimowicz
Pedro Olmo Stancioli Vaz de Melo
Gisele Lobo Pappa
Anna Helena Reali Costa
Levi Henrique Santana de Lelis
Bruno Castro da Silva
dc.subject.por.fl_str_mv Seleção de Algoritmos
Jogos Digitais
Inteligência Artificial
Aprendizado por Reforço
topic Seleção de Algoritmos
Jogos Digitais
Inteligência Artificial
Aprendizado por Reforço
Seleção de algoritmos
Inteligência Artificial
Aprendizado por reforço
Jogos digitais
Computação
dc.subject.other.pt_BR.fl_str_mv Seleção de algoritmos
Inteligência Artificial
Aprendizado por reforço
Jogos digitais
Computação
description Jogos digitais complexos, com representação de estados em alta resolução, grande número de ações e necessidade de raciocínio em diferentes escalas temporais contra um oponente, apresentam muitos desafios não resolvidos em inteligência artificial. Estes desafios deram surgimento a uma variedade de algoritmos, especializados em diferentes aspectos de um jogo. Jogadores humanos prosperam nesses jogos ao recorrerem a um repertório de estratégias, ou linhas de ação, previamente treinadas e por conseguirem generalizar respostas por analogia entre situações imprevistas e familiares. Esta tese apresenta uma versão computacional do comportamento humano: primeiramente, substituímos o repertório humano de estratégias por um portfólio de algoritmos, modelando o jogo como um problema de seleção de algoritmos com adversário em um arcabouço de aprendizado por reforço. Em seguida, usamos esquemas conhecidos de aproximação de funções para promover respostas similares a estados similares do jogo. Nosso arcabouço hierárquico para tomada de decisão usa algoritmos existentes, buscando descobrir o melhor em cada situação do jogo, potencialmente resultando em um desempenho melhor que um algoritmo sozinho poderia atingir. Demonstramos as vantagens da seleção de algoritmos de acordo com o número de ações no domínio, o tamanho do portfólio e a competência dos algoritmos, através de experimentos em um problema sintético. Além disso, instanciamos nosso arcabouço em jogos de estratégia em tempo real - possivelmente o tipo de jogo digital mais complexo - no qual um jogador deve estrategicamente desenvolver sua economia e rapidamente manobrar unidades em combates. Nosso arcabouço permite a discussão de aspectos de teoria dos jogos em seleção de algoritmos, no sentido de antecipar as escolhas de um oponente que também selecione algoritmos, além de alavancar o desempenho de inteligência artificial em jogos de estratégia em tempo real, ao derrotar de maneira consistente o estado da arte em abordagens de busca em árvores de jogos.
publishDate 2018
dc.date.issued.fl_str_mv 2018-08-10
dc.date.accessioned.fl_str_mv 2019-08-12T13:50:50Z
dc.date.available.fl_str_mv 2019-08-12T13:50:50Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/SLSC-BBWPRR
url http://hdl.handle.net/1843/SLSC-BBWPRR
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.initials.fl_str_mv UFMG
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/1/andersonrochatavares.pdf
https://repositorio.ufmg.br/bitstream/1843/SLSC-BBWPRR/2/andersonrochatavares.pdf.txt
bitstream.checksum.fl_str_mv ea962cafb7cef2d17c09c28b4553a674
8e8ec5c61284ab0bc09772ff9d468000
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589290158981120

Registros relacionados