Empowering Classical AI with Quantum Computing

Detalhes bibliográficos
Autor(a) principal: Santos, Filipe Miguel Fonseca dos
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/102180
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_61e0a7e01d939d85255998dfeedb37b5
oai_identifier_str oai:estudogeral.uc.pt:10316/102180
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Empowering Classical AI with Quantum ComputingEmpowering Classical AI with Quantum ComputingAprendizagem por ReforçoComputação Quântica4 em LinhaReinforcement LearningQuantum ComputingConnect FourDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaAprendizagem por reforço é um dos ramos da aprendizagem computacional, em que um agente interage com um ambiente por tentativa e erro. Como a aprendizagem por reforço pode funcionar sem conhecimento do domínio do problema, tem a vantagem de não precisar de dados de treino previamente etiquetados. Como consequência, tem tido sucesso em várias áreas, como a da robótica e a dos jogos. Aprendizagem por reforço é frequentemente acompanhada por redes neuronais, formando abordagens de aprendizagem profunda, que podem funcionar mesmo quando lidando com grandes espaços de estados. Ao mesmo tempo, a computação quântica é uma área que tem o potencial de superar supercomputadores clássicos em tarefas específicas. Apesar de ser desconhecido quando este potencial será realizado, é importante investigar possíveis aplicações. Para além disso, como o hardware quantum atual tem ruído e simulações quânticas são difíceis de realizar para sistemas mais complexos, é especialmente relevante descobrir casos de uso práticos para a computação quântica num futuro próximo. Aprendizagem computacional quantum é uma das áreas que mostra potencial de funcionar dentro do contexto quantum atual. Especificamente para a aprendizagem por reforço quantum, há a perspetiva de conseguir um melhor equilíbrio entre a exploração do espaço de estados e a exploração do conhecimento obtido, como visto em trabalhos recentes relacionados com a quantum tagged action selection, que foi aplicada ao jogo de tabuleiro das Damas. Neste trabalho, aplicámos quantum tagged action selection dentro do contexto da aprendizagem por reforço no 4 em Linha, estendendo o âmbito desta técnica a outros jogos de tabuleiro. Para o fazer, combinámo-la com um método de aprendizagem profunda offline, que foi a chave para lidar com a complexidade do espaço de estados do problema. Testámos agentes clássicos e quânticos contra um adversário que utilizou Randomized Negamax. Os resultados obtidos mostraram um desempenho superior em comparação com uma abordagem Ɛ-greedy comum. Além disso, a versão quântica da flagged action selection levou a uma melhor eficiência ao treinar do que a sua versão clássica. Como o jogador 2 tem uma grande desvantagem neste jogo de tabuleiro, também analisámos o desempenho dos agentes que treinaram como jogador 2, encontrando resultados menos conclusivos, mas ainda assim positivos.Reinforcement Learning (RL) is a Machine Learning (ML) branch, in which an agent interacts with an environment by trial and error. Since RL can work without knowledge of the problem domain, it has the advantage of not needing previously labelled training data to function. As a result, it has found success in many areas, such as robotics and games. RL is frequently paired with Neural Networks (NNs), resulting in Deep Learning approaches, which can work well even when dealing with large state spaces. At the same time, Quantum Computing is an area that has the potential to surpass classical supercomputers at specific tasks. While it is unknown when this potential will be realized, it is important to research possible applications. Furthermore, as current quantum hardware is noisy and quantum simulations are difficult to perform for more complex systems, it is especially relevant to figure out practical use cases for Quantum Computing in the near future. Quantum ML is one of the areas that shows potential to work under the current quantum context. Specifically for Quantum RL, there is the prospect of achieving a better balance between the exploration of the state space and the exploitation of the knowledge acquired, as seen in some recent research related with quantum tagged action selection, which has been applied to the board game of Checkers. In this work, we applied quantum tagged action selection to the RL context of Connect Four, extending the scope of this technique to other board games. To do so, we paired it with an offline Deep Learning method, which was key in dealing with the state-space complexity of the problem. We tested both classical and quantum agents against a Randomized Negamax opponent. The results obtained showed a superior performance in comparison with a standard Ɛ-greedy approach. Furthermore, the quantum version of the flagged action selection led to better training efficiency than its classical counterpart. Since going second is a major disadvantage in this board game, we also analysed the performance of the agents that trained as player 2, finding less conclusive but still ultimately positive results.2022-07-12info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102180http://hdl.handle.net/10316/102180TID:203062159engSantos, Filipe Miguel Fonseca dosinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-09-27T20:42:23Zoai:estudogeral.uc.pt:10316/102180Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:13.796519Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Empowering Classical AI with Quantum Computing
Empowering Classical AI with Quantum Computing
title Empowering Classical AI with Quantum Computing
spellingShingle Empowering Classical AI with Quantum Computing
Santos, Filipe Miguel Fonseca dos
Aprendizagem por Reforço
Computação Quântica
4 em Linha
Reinforcement Learning
Quantum Computing
Connect Four
title_short Empowering Classical AI with Quantum Computing
title_full Empowering Classical AI with Quantum Computing
title_fullStr Empowering Classical AI with Quantum Computing
title_full_unstemmed Empowering Classical AI with Quantum Computing
title_sort Empowering Classical AI with Quantum Computing
author Santos, Filipe Miguel Fonseca dos
author_facet Santos, Filipe Miguel Fonseca dos
author_role author
dc.contributor.author.fl_str_mv Santos, Filipe Miguel Fonseca dos
dc.subject.por.fl_str_mv Aprendizagem por Reforço
Computação Quântica
4 em Linha
Reinforcement Learning
Quantum Computing
Connect Four
topic Aprendizagem por Reforço
Computação Quântica
4 em Linha
Reinforcement Learning
Quantum Computing
Connect Four
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-07-12
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/102180
http://hdl.handle.net/10316/102180
TID:203062159
url http://hdl.handle.net/10316/102180
identifier_str_mv TID:203062159
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134086899433472

Registros relacionados