[en] PESSIMISTIC Q-LEARNING: AN ALGORITHM TO CREATE BOTS FOR TURN-BASED GAMES

• Autor(a) principal: ADRIANO BRITO PEREIRA
• Data de Publicação: 2017
• Tipo de documento: Outros
• Idioma: por
• Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
• Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=28809@1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=28809@2; http://doi.org/10.17771/PUCRio.acad.28809
• topic: [pt] APRENDIZADO POR REFORCO; [pt] BOTS; [pt] Q-LEARNING PESSIMISTA; [pt] JOGO; [pt] INTELIGENCIA ARTIFICIAL; [pt] APRENDIZADO DE MAQUINA; [en] REINFORCEMENT LEARNING; [en] BOTS; [en] GAME; [en] ARTIFICIAL INTELLIGENCE; [en] MACHINE LEARNING

[pt] Este documento apresenta um novo algoritmo de aprendizado por reforço, o Q-Learning Pessimista. Nossa motivação é resolver o problema de gerar bots capazes de jogar jogos baseados em turnos e contribuir para obtenção de melhores resultados através dessa extensão do algoritmo Q-Learning. O Q-Learning Pessimista explora a flexibilidade dos cálculos gerados pelo Q-Learning tradicional sem a utilização de força bruta. Para medir a qualidade do bot gerado, consideramos qualidade como a soma do potencial de vitória e empate em um jogo. Nosso propósito fundamental é gerar bots de boa qualidade para diferentes jogos. Desta forma, podemos utilizar este algoritmo para famílias de jogos baseados em turno. Desenvolvemos um framework chamado Wisebots e realizamos experimentos com alguns cenários aplicados aos seguintes jogos tradicionais: TicTacToe, Connect-4 e CardPoints. Comparando a qualidade do Q-Learning Pessimista com a do Q-Learning tradicional, observamos ganhos de 0,8 por cento no TicTacToe, obtendo um algoritmo que nunca perde. Observamos também ganhos de 35 por cento no Connect-4 e de 27 por cento no CardPoints, elevando ambos da faixa de 50 por cento a 60 por cento para 90 por cento a 100 por cento de qualidade. Esses resultados ilustram o potencial de melhoria com o uso do Q-Learning Pessimista, sugerindo sua aplicação aos diversos tipos de jogos de turnos.