Modeling of Synthetic Players As An Instrument For Testing Generative Content

Detalhes bibliográficos
Autor(a) principal: Alves, Diogo Rafael Cordeiro
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/96018
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_ef5b147bb77e2ebbc3df5c1e3596db54
oai_identifier_str oai:estudogeral.uc.pt:10316/96018
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Modeling of Synthetic Players As An Instrument For Testing Generative ContentModelação de Jogadores Sintéticos como Instrumento para Ensaio de Conteúdos GenerativosInteligência Artificial em JogosJogador SintéticoAprendizagem por ImitaçãoAprendizagem por ReforçoPlaneamentoArtificial Intelligence in GamesSynthetic PlayerImitation LearningReinforcement LearningPlanningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaHá uma necessidade de se encontrar novos métodos confiáveis para testar cenários de jogo gerados procedimentalmente. Um método que mostra potencial é teste automatizado, que consiste em usar jogador sintéticos para testar novos cenários de jogo. Deste modo, para testar esta suposição, este trabalho modela dois tipos de jogadores sintéticos que são colocados num cenário semelhante ao Bomberman. Neste caso de estudo, os jogadores têm de colocar bombas em lugares estratégicos para eliminar os adversários. Um jogador sintético é desenvolvido através de uma abordagem baseada em planeamento, em que o agente procura por uma sequência de ações que leva desde o estado atual do jogo até ao estado desejado. A segunda abordagem é aprendizagem computacional, mais precisamente combinar aprendizagem por imitação com aprendizagem por reforço, para que primeiro, o jogador sintético aprenda observando demonstrações humanas, e depois melhore a sua performance através das recompensas do ambiente. Resultados mostram que o jogador sintético de planeamento consegue jogar e ganhar o jogo consistentemente contra oponentes desenvolvidos pela abordagem de aprendizagem computacional, e consegue generalizar bem para novos cenários. Também obteve resultados positivos num inquérito acerca da sua credibilidade. Estes atributos fazem do jogador sintético de planeamento uma ferramente viável para testar cenários de jogo gerados procedimentalmente. Contudo, o agente de planeamento tem dificuldades quando joga contra um jogador humano, fornecendo apenas um desafio de dificuldade fácil a moderada para o humano. A abordagem de aprendizagem computacional produziu resultados modestos, não sendo capaz de vencer o jogo consistentemente. O seu desempenho pouco satisfatório também magoa a sua credibilidade. Não obstante esse facto, um modelo treinado aparenta ter aprendido as regras básicas do jogo e conseguiu sobreviver períodos de tempo suficientes para explorar o espaço de jogo.There is a need to discover new, reliable techniques to test procedurally generated game scenarios. One method that has potential is automated testing, which consists in using synthetic players to play and test the newly generated scenarios. Therefore, to test this assumption, this work models two types of synthetic players that are put in a Bomberman-like scenario. In this case study, the players must place bombs in strategic places in order to eliminate the opponents. One synthetic player is developed via a planning-based approach, in which the agent searches for a sequence of actions that leads from the current state of the game to the desired game state. The second approach is machine learning, more precisely, combining Imitation Learning with Reinforcement Learning in order for the synthetic player to first learn by observing human demonstrations, and then improve its performance by maximizing its policy via the environment rewards. Results show that the planning synthetic player manages to play and win the game consistently against opponents developed by the machine learning approach, and can generalize well to new unseen scenarios. It also obtained positive scores in a survey regarding its believability. All of these attributes makes the planning synthetic player a viable tool to test procedurally generated game scenarios. However, the planning agent struggles when facing a human player, providing an easy-to-moderate challenge for the human. The machine learning approach produced modest results, not being able to win the game consistently. Its modest performance harms its believability as well. Nonetheless, a particular trained model could be perceived as if grasping how to play the game and managed to survive long-enough periods to explore the game space.2021-07-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/96018http://hdl.handle.net/10316/96018TID:202778134engAlves, Diogo Rafael Cordeiroinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T03:55:44Zoai:estudogeral.uc.pt:10316/96018Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:14:23.036699Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Modeling of Synthetic Players As An Instrument For Testing Generative Content
Modelação de Jogadores Sintéticos como Instrumento para Ensaio de Conteúdos Generativos
title Modeling of Synthetic Players As An Instrument For Testing Generative Content
spellingShingle Modeling of Synthetic Players As An Instrument For Testing Generative Content
Alves, Diogo Rafael Cordeiro
Inteligência Artificial em Jogos
Jogador Sintético
Aprendizagem por Imitação
Aprendizagem por Reforço
Planeamento
Artificial Intelligence in Games
Synthetic Player
Imitation Learning
Reinforcement Learning
Planning
title_short Modeling of Synthetic Players As An Instrument For Testing Generative Content
title_full Modeling of Synthetic Players As An Instrument For Testing Generative Content
title_fullStr Modeling of Synthetic Players As An Instrument For Testing Generative Content
title_full_unstemmed Modeling of Synthetic Players As An Instrument For Testing Generative Content
title_sort Modeling of Synthetic Players As An Instrument For Testing Generative Content
author Alves, Diogo Rafael Cordeiro
author_facet Alves, Diogo Rafael Cordeiro
author_role author
dc.contributor.author.fl_str_mv Alves, Diogo Rafael Cordeiro
dc.subject.por.fl_str_mv Inteligência Artificial em Jogos
Jogador Sintético
Aprendizagem por Imitação
Aprendizagem por Reforço
Planeamento
Artificial Intelligence in Games
Synthetic Player
Imitation Learning
Reinforcement Learning
Planning
topic Inteligência Artificial em Jogos
Jogador Sintético
Aprendizagem por Imitação
Aprendizagem por Reforço
Planeamento
Artificial Intelligence in Games
Synthetic Player
Imitation Learning
Reinforcement Learning
Planning
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-07-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/96018
http://hdl.handle.net/10316/96018
TID:202778134
url http://hdl.handle.net/10316/96018
identifier_str_mv TID:202778134
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134041311543296

Registros relacionados