Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft

Detalhes bibliográficos
Autor(a) principal: Santos, Victor Henrique dos
Data de Publicação: 2017
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/handle/123456789/34207
Resumo: In order to improve the artificial intelligence (AI) of real-time strategy (RTS) games, the AI international community has encouraged researches the context of several problems on the RTS games environment. This is due to the fact the RTS games offer to researchers an excellent labs due to the complexity and dynamicity of the simulation of realistic, controlled and observable battle fields. Those environment, such as the game StarCraft, witch is a benchmark of the AI international community, require complex decision make solutions. Witch involves problems like resource management, uncertainty reasoning, collaboration and unities coordination, opponent learning and modelling, etc, in order to reach their goal in the best way. For those reasons, this work propose to analyze and improve the application of reinforcement learning techniques in a simplified StarCraft combat scenario. In order to do this, this work is based in a work published on IEEE Conference on Computational Intelligence and Games, through the experimentation of various reinforcement learning parameters as well as modification of the original environment representation model used the published work. The results obtained from the experiments show a significant improvement on the learning efficiency and quality. This ends up reflecting in a augmentation of the victories average on the simulated environment.
id UFRN_09a4a8325849abc4145cdb20a2ee0169
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/34207
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Santos, Victor Henrique dosMadeira, Charles Andrey GalvãoMedeiros Martins, Allan deCosta Abreu, Márjory Cristiany daMadeira, Charles Andryê Galvão2017-07-06T14:10:24Z2021-09-20T11:47:10Z2017-07-06T14:10:24Z2021-09-20T11:47:10Z2017-062011024677SANTOS, V. H. Experimentos com aprendizado por reforço em cenário de combatede starcraft. Monografia (Bacharel em Ciência da Computação), UFRN (UniversidadeFederal do Rio Grande do Norte), Natal, Brazil, 2017.https://repositorio.ufrn.br/handle/123456789/34207In order to improve the artificial intelligence (AI) of real-time strategy (RTS) games, the AI international community has encouraged researches the context of several problems on the RTS games environment. This is due to the fact the RTS games offer to researchers an excellent labs due to the complexity and dynamicity of the simulation of realistic, controlled and observable battle fields. Those environment, such as the game StarCraft, witch is a benchmark of the AI international community, require complex decision make solutions. Witch involves problems like resource management, uncertainty reasoning, collaboration and unities coordination, opponent learning and modelling, etc, in order to reach their goal in the best way. For those reasons, this work propose to analyze and improve the application of reinforcement learning techniques in a simplified StarCraft combat scenario. In order to do this, this work is based in a work published on IEEE Conference on Computational Intelligence and Games, through the experimentation of various reinforcement learning parameters as well as modification of the original environment representation model used the published work. The results obtained from the experiments show a significant improvement on the learning efficiency and quality. This ends up reflecting in a augmentation of the victories average on the simulated environment.Com o intuito de melhorar a inteligência artificial (IA) dos jogos de estratégia em tempo real (RTS), a comunidade internacional de IA tem incentivado pesquisas no contexto de diversas problemáticas encontradas nos ambientes deste gênero de jogos. Isto se deve ao fato que os jogos de RTS oferecem aos pesquisadores um excelente laboratório devido à complexidade e dinamicidade da simulação de campos de batalha realistas, controláveis e observáveis. Estes ambientes, tais como o do jogo StarCraft, que é um benchmark da comunidade internacional de IA, requerem soluções bastante complexas de tomada de decisão envolvendo problemáticas tais como a gestão de recursos, o tratamento da incerteza, a colaboração e coordenação dos personagens, o aprendizado e modelagem de adversários, entre outros, de forma que um exército alcance o seu objetivo da melhor maneira. Neste aspecto, o presente trabalho se propõe a analisar e aperfeiçoar a aplicação de técnicas de aprendizado por reforço em um cenário simplificado de combate de StarCraft, tendo como base um trabalho publicado na IEEE Conference on Computational Intelligence and Games, através da experimentação de diversos parâmetros de aprendizado e exploração, assim como um incremento no modelo original de representação do ambiente utilizado no trabalho publicado. Os resultados obtidos através dos experimentos realizados apresentaram uma melhoria significativa na eficiência e na qualidade do aprendizado que refletiu em um acréscimo no número médio de vitórias da estratégia aprendida no ambiente simulado.Universidade Federal do Rio Grande do NorteUFRNBrasilBacharelado em Ciência da ComputaçãoEstratégia de CombateAprendizado por ReforçoStarCraftExperimentos com Aprendizado por Reforço em Cenário de Combate de StarCraftExperiments with Reinforcement Learning in a StarCraft Combat Scenarioinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNTEXTCombateStartCraft_Santos_2017.pdf.txtExtracted texttext/plain105568https://repositorio.ufrn.br/bitstream/123456789/34207/1/CombateStartCraft_Santos_2017.pdf.txt4324e76acf0540ff86539662f6fca1e9MD51ORIGINALCombateStartCraft_Santos_2017.pdfMonografiaapplication/pdf3461487https://repositorio.ufrn.br/bitstream/123456789/34207/2/CombateStartCraft_Santos_2017.pdf850bf9d508cefe63fcb9d9693dc23d55MD52CC-LICENSElicense_urlapplication/octet-stream43https://repositorio.ufrn.br/bitstream/123456789/34207/3/license_url321f3992dd3875151d8801b773ab32edMD53license_textapplication/octet-stream0https://repositorio.ufrn.br/bitstream/123456789/34207/4/license_textd41d8cd98f00b204e9800998ecf8427eMD54license_rdfapplication/octet-stream0https://repositorio.ufrn.br/bitstream/123456789/34207/5/license_rdfd41d8cd98f00b204e9800998ecf8427eMD55LICENSElicense.txttext/plain756https://repositorio.ufrn.br/bitstream/123456789/34207/6/license.txta80a9cda2756d355b388cc443c3d8a43MD56123456789/342072021-09-20 08:47:10.355oai:https://repositorio.ufrn.br:123456789/34207PGNlbnRlcj48c3Ryb25nPlVOSVZFUlNJREFERSBGRURFUkFMIERPIFJJTyBHUkFOREUgRE8gTk9SVEU8L3N0cm9uZz48L2NlbnRlcj4KPGNlbnRlcj48c3Ryb25nPkJJQkxJT1RFQ0EgRElHSVRBTCBERSBNT05PR1JBRklBUzwvc3Ryb25nPjwvY2VudGVyPgoKPGNlbnRlcj5UZXJtbyBkZSBBdXRvcml6YcOnw6NvIHBhcmEgZGlzcG9uaWJpbGl6YcOnw6NvIGRlIE1vbm9ncmFmaWFzIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbyBuYSBCaWJsaW90ZWNhIERpZ2l0YWwgZGUgTW9ub2dyYWZpYXMgKEJETSk8L2NlbnRlcj4KCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvciBkYSBtb25vZ3JhZmlhLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRvIFJpbyBHcmFuZGUgZG8gTm9ydGUgKFVGUk4pIGEgZGlzcG9uaWJpbGl6YXIgYXRyYXbDqXMgZGEgQmlibGlvdGVjYSBEaWdpdGFsIGRlIE1vbm9ncmFmaWFzIGRhIFVGUk4sIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgZGUgYWNvcmRvIGNvbSBhIExlaSBuwrAgOTYxMC85OCwgbyB0ZXh0byBpbnRlZ3JhbCBkYSBvYnJhIHN1Ym1ldGlkYSBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EgYnJhc2lsZWlyYSwgYSBwYXJ0aXIgZGEgZGF0YSBkZXN0YSBzdWJtaXNzw6NvLiAKRepositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2021-09-20T11:47:10Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pr_BR.fl_str_mv Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
dc.title.alternative.pr_BR.fl_str_mv Experiments with Reinforcement Learning in a StarCraft Combat Scenario
title Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
spellingShingle Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
Santos, Victor Henrique dos
Estratégia de Combate
Aprendizado por Reforço
StarCraft
title_short Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
title_full Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
title_fullStr Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
title_full_unstemmed Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
title_sort Experimentos com Aprendizado por Reforço em Cenário de Combate de StarCraft
author Santos, Victor Henrique dos
author_facet Santos, Victor Henrique dos
author_role author
dc.contributor.referees1.none.fl_str_mv Madeira, Charles Andrey Galvão
dc.contributor.referees2.none.fl_str_mv Medeiros Martins, Allan de
dc.contributor.referees3.none.fl_str_mv Costa Abreu, Márjory Cristiany da
dc.contributor.author.fl_str_mv Santos, Victor Henrique dos
dc.contributor.advisor1.fl_str_mv Madeira, Charles Andryê Galvão
contributor_str_mv Madeira, Charles Andryê Galvão
dc.subject.pr_BR.fl_str_mv Estratégia de Combate
Aprendizado por Reforço
StarCraft
topic Estratégia de Combate
Aprendizado por Reforço
StarCraft
description In order to improve the artificial intelligence (AI) of real-time strategy (RTS) games, the AI international community has encouraged researches the context of several problems on the RTS games environment. This is due to the fact the RTS games offer to researchers an excellent labs due to the complexity and dynamicity of the simulation of realistic, controlled and observable battle fields. Those environment, such as the game StarCraft, witch is a benchmark of the AI international community, require complex decision make solutions. Witch involves problems like resource management, uncertainty reasoning, collaboration and unities coordination, opponent learning and modelling, etc, in order to reach their goal in the best way. For those reasons, this work propose to analyze and improve the application of reinforcement learning techniques in a simplified StarCraft combat scenario. In order to do this, this work is based in a work published on IEEE Conference on Computational Intelligence and Games, through the experimentation of various reinforcement learning parameters as well as modification of the original environment representation model used the published work. The results obtained from the experiments show a significant improvement on the learning efficiency and quality. This ends up reflecting in a augmentation of the victories average on the simulated environment.
publishDate 2017
dc.date.accessioned.fl_str_mv 2017-07-06T14:10:24Z
2021-09-20T11:47:10Z
dc.date.available.fl_str_mv 2017-07-06T14:10:24Z
2021-09-20T11:47:10Z
dc.date.issued.fl_str_mv 2017-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.pr_BR.fl_str_mv 2011024677
dc.identifier.citation.fl_str_mv SANTOS, V. H. Experimentos com aprendizado por reforço em cenário de combatede starcraft. Monografia (Bacharel em Ciência da Computação), UFRN (UniversidadeFederal do Rio Grande do Norte), Natal, Brazil, 2017.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/handle/123456789/34207
identifier_str_mv 2011024677
SANTOS, V. H. Experimentos com aprendizado por reforço em cenário de combatede starcraft. Monografia (Bacharel em Ciência da Computação), UFRN (UniversidadeFederal do Rio Grande do Norte), Natal, Brazil, 2017.
url https://repositorio.ufrn.br/handle/123456789/34207
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Bacharelado em Ciência da Computação
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/34207/1/CombateStartCraft_Santos_2017.pdf.txt
https://repositorio.ufrn.br/bitstream/123456789/34207/2/CombateStartCraft_Santos_2017.pdf
https://repositorio.ufrn.br/bitstream/123456789/34207/3/license_url
https://repositorio.ufrn.br/bitstream/123456789/34207/4/license_text
https://repositorio.ufrn.br/bitstream/123456789/34207/5/license_rdf
https://repositorio.ufrn.br/bitstream/123456789/34207/6/license.txt
bitstream.checksum.fl_str_mv 4324e76acf0540ff86539662f6fca1e9
850bf9d508cefe63fcb9d9693dc23d55
321f3992dd3875151d8801b773ab32ed
d41d8cd98f00b204e9800998ecf8427e
d41d8cd98f00b204e9800998ecf8427e
a80a9cda2756d355b388cc443c3d8a43
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1814832670990925824