Quantum bayesian reinforcement learning

Detalhes bibliográficos
Autor(a) principal: Cunha, Gilberto Rui Nogueira
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/86205
Resumo: Dissertação de mestrado em Engineering Physics
id RCAP_6456ed60689eb24849cd6f6021be4b54
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/86205
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Quantum bayesian reinforcement learningReinforcement learningBayesian networksQuantum computingQuantum decision-makingAprendizagem por reforçoRedes BayesianasComputação quânticaTomada de decisão quânticaCiências Naturais::Ciências FísicasDissertação de mestrado em Engineering PhysicsReinforcement learning has had many recent achievements and is becoming increasingly more relevant in the scientific community. As such, this work uses quantum computing to find potential advantages over classical reinforcement learning algorithms, using Bayesian networks to model the considered decision making environments. For this purpose, this work makes use of quantum rejection sampling, a quantum approximate inference algorithm for Bayesian networks proposed by Low et al. [2014] with a quadratic speedup over its classical counterpart for sparse networks. It is shown that this algorithm can only provide quantum speedups for partially observable environments, and a quantum-classical hybrid lookahead al gorithm is presented to solve these kinds of problems. Moreover, this work also includes both sample and computational complexity analysis of both this quantum lookahead algorithm and its classical alternative. While the sample complexity is shown to be identical for both algorithms, the quantum approach provides up to a quadratic speedup in computational complexity. Finally, the potential advantages of this new algo rithm are experimentally tested in different small experiments. The results show that this speedup can be leveraged either to improve the rational decision-making skills of agents or to reduce their decision-making time due to the reduction in computational complexity.A aprendizagem por reforço tem recentemente alcançado muito sucesso e a tornar-se cada vez mais relevante na comunidade científica. Este trabalho tira proveito da computação quântica para encontrar potenciais vantagens do seu uso comparativamente a algoritmos clássicos de aprendizagem de reforço. Nesta procura por vantagens, são utilizadas redes Bayesianas para modelar os ambientes de tomada de decisão considerados. Para este propósito, é utilizado o algoritmo de quantum rejection sampling, um algoritmo para inferência aproximada em redes Bayesianas proposto por Low et al. [2014] com um speedup quadrático comparativamente ao equivalente clássico para redes esparsas. É mostrado que este algoritmo quântico de inferência apenas tem vantagem na sua aplicação a ambientes parcialmente ob serváveis, e é apresentado um algoritmo híbrido clássico-quântico de lookahead para resolver este tipo de problemas. Para além disto, é também incluída uma análise da complexidade de amostragem e complex idade computacional de ambos os algoritmos. Enquanto a complexidade de amostragem é idêntica para as duas abordagens, o algoritmo quântico apresenta um speedup na complexidade computacional que é quadrático no melhor dos casos. Por fim, as potenciais vantagens deste novo algoritmo são testadas em experiências de pequena dimensão. Os resultados mostram que este speedup pode ser utilizado tanto para melhorar a capacidade de tomada de decisão de agentes como para diminuir o tempo de tomada de decisão dos mesmos devido à redução da complexidade computacional.Barbosa, L. S.Sequeira, André Manuel ResendeOliveira, MichaelUniversidade do MinhoCunha, Gilberto Rui Nogueira2023-01-102023-01-10T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/86205eng203348397info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-09-02T01:20:49Zoai:repositorium.sdum.uminho.pt:1822/86205Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:28:02.716313Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Quantum bayesian reinforcement learning
title Quantum bayesian reinforcement learning
spellingShingle Quantum bayesian reinforcement learning
Cunha, Gilberto Rui Nogueira
Reinforcement learning
Bayesian networks
Quantum computing
Quantum decision-making
Aprendizagem por reforço
Redes Bayesianas
Computação quântica
Tomada de decisão quântica
Ciências Naturais::Ciências Físicas
title_short Quantum bayesian reinforcement learning
title_full Quantum bayesian reinforcement learning
title_fullStr Quantum bayesian reinforcement learning
title_full_unstemmed Quantum bayesian reinforcement learning
title_sort Quantum bayesian reinforcement learning
author Cunha, Gilberto Rui Nogueira
author_facet Cunha, Gilberto Rui Nogueira
author_role author
dc.contributor.none.fl_str_mv Barbosa, L. S.
Sequeira, André Manuel Resende
Oliveira, Michael
Universidade do Minho
dc.contributor.author.fl_str_mv Cunha, Gilberto Rui Nogueira
dc.subject.por.fl_str_mv Reinforcement learning
Bayesian networks
Quantum computing
Quantum decision-making
Aprendizagem por reforço
Redes Bayesianas
Computação quântica
Tomada de decisão quântica
Ciências Naturais::Ciências Físicas
topic Reinforcement learning
Bayesian networks
Quantum computing
Quantum decision-making
Aprendizagem por reforço
Redes Bayesianas
Computação quântica
Tomada de decisão quântica
Ciências Naturais::Ciências Físicas
description Dissertação de mestrado em Engineering Physics
publishDate 2023
dc.date.none.fl_str_mv 2023-01-10
2023-01-10T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/86205
url https://hdl.handle.net/1822/86205
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203348397
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133548304662528

Registros relacionados