Solving a markov decision process multidimensional problem with tensor decomposition
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da PUC_RS |
Texto Completo: | http://tede2.pucrs.br/tede2/handle/tede/9832 |
Resumo: | Processo de Decisão de Markov (MDP) é um modelo usado para planejamento de tomada de decisão de agentes em ambientes estocásticos e completamente observáveis. Embora, muita pesquisa se concentra na solução de problemas de MDPs atômicos em formas tabulares ou MDPs com representações fatoradas, nenhuma se baseia em métodos de decomposição de tensores. Resolver MDPs usando álgebra tensorial oferece a perspectiva de alavancar avanços em cálculos baseados em tensor para aumentar a eficiência de solucionadores de MDP. Nesta pesquisa, primeiro, é formalizado problemas multidimensionais de MDP usando álgebra tensorial. Segundo, é desenvolvido um solucionador de MDP usando o método de decomposição de tensor CANDECOMP-PARAFAC para compactar as matrizes de transição de estados. O solucionador utiliza os algoritmos de iteração de valor e iteração de política para computar a solução de forma compacta. Então, os algoritmos compactos são avaliados de forma empírica em comparação com métodos tabulares. Como resultados, é mostrado que a abordagem tensorial pode computar problemas maiores usando substancialmente menos memória, abrindo novas possibilidades para métodos baseadas em tensores para o planejamento estocástico. |
id |
P_RS_6e31e1912e1e70ec73d6cb753e0af8c3 |
---|---|
oai_identifier_str |
oai:tede2.pucrs.br:tede/9832 |
network_acronym_str |
P_RS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
repository_id_str |
|
spelling |
Sales, Afonso Henrique Correa dehttp://lattes.cnpq.br/4329466230451089Meneguzzi, Felipe Rechhttp://lattes.cnpq.br/5973550650941724http://lattes.cnpq.br/6827209674629253Kuinchtner, Daniela2021-09-01T13:54:18Z2021-03-05http://tede2.pucrs.br/tede2/handle/tede/9832Processo de Decisão de Markov (MDP) é um modelo usado para planejamento de tomada de decisão de agentes em ambientes estocásticos e completamente observáveis. Embora, muita pesquisa se concentra na solução de problemas de MDPs atômicos em formas tabulares ou MDPs com representações fatoradas, nenhuma se baseia em métodos de decomposição de tensores. Resolver MDPs usando álgebra tensorial oferece a perspectiva de alavancar avanços em cálculos baseados em tensor para aumentar a eficiência de solucionadores de MDP. Nesta pesquisa, primeiro, é formalizado problemas multidimensionais de MDP usando álgebra tensorial. Segundo, é desenvolvido um solucionador de MDP usando o método de decomposição de tensor CANDECOMP-PARAFAC para compactar as matrizes de transição de estados. O solucionador utiliza os algoritmos de iteração de valor e iteração de política para computar a solução de forma compacta. Então, os algoritmos compactos são avaliados de forma empírica em comparação com métodos tabulares. Como resultados, é mostrado que a abordagem tensorial pode computar problemas maiores usando substancialmente menos memória, abrindo novas possibilidades para métodos baseadas em tensores para o planejamento estocástico.Markov Decision Process (MDP) is a model used for planning decision-making of agents in stochastic and completely observable environments. Although much research is focused on solving atomic MDP problems in tabular forms or MDP problems with factored representations, none is based on tensor decomposition methods. Solving MDPs using tensor algebra offers the prospect of leveraging advances in tensor-based calculations to increase MDP solvers’ efficiency. In this research, first, we formalize MDP multidimensional problems using tensor algebra. Second, we develop an MDP solver using the CANDECOMP-PARAFAC tensor decomposition method to compact state transition matrices. The solver uses the value iteration and policy iteration algorithms to compute the solution compactly. Then, we empirically evaluate the compact algorithms compared to tabular methods. As a result, we show that the tensor approach can compute larger problems using substantially less memory, opening up new possibilities for tensor-based methods for stochastic planning.Submitted by PPG Ciência da Computação (ppgcc@pucrs.br) on 2021-08-31T19:34:36Z No. of bitstreams: 1 DANIELA KUINCHTNER_DIS.pdf: 13690372 bytes, checksum: ec8bb7f4a15f0bb4f52af853994c3352 (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2021-09-01T13:42:41Z (GMT) No. of bitstreams: 1 DANIELA KUINCHTNER_DIS.pdf: 13690372 bytes, checksum: ec8bb7f4a15f0bb4f52af853994c3352 (MD5)Made available in DSpace on 2021-09-01T13:54:18Z (GMT). No. of bitstreams: 1 DANIELA KUINCHTNER_DIS.pdf: 13690372 bytes, checksum: ec8bb7f4a15f0bb4f52af853994c3352 (MD5) Previous issue date: 2021-03-05Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESapplication/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/181863/DANIELA%20KUINCHTNER_DIS.pdf.jpgengPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilEscola PolitécnicaArtificial IntelligenceCANDECOMP-PARAFAC DecompositionMarkov Decision ProcessTensor AlgebraTensor DecompositionInteligência ArtificialDecomposição CANDECOMP-PARAFACProcesso de ´Decisão de MarkovÁgebra TensorialDecomposição de TensoresCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOSolving a markov decision process multidimensional problem with tensor decompositionSolucionando um problema multidimensional de processo de decisão de markov utilizando decomposição de tensoresinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação-4570527706994352458500500600-8620782570833253013590462550136975366info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILDANIELA KUINCHTNER_DIS.pdf.jpgDANIELA KUINCHTNER_DIS.pdf.jpgimage/jpeg5371http://tede2.pucrs.br/tede2/bitstream/tede/9832/4/DANIELA+KUINCHTNER_DIS.pdf.jpgbaa8488db8a9d1b5130bea14d8d58eaeMD54TEXTDANIELA KUINCHTNER_DIS.pdf.txtDANIELA KUINCHTNER_DIS.pdf.txttext/plain130616http://tede2.pucrs.br/tede2/bitstream/tede/9832/3/DANIELA+KUINCHTNER_DIS.pdf.txte099795fc9c2deaf5bcea9e401085c81MD53ORIGINALDANIELA KUINCHTNER_DIS.pdfDANIELA KUINCHTNER_DIS.pdfapplication/pdf13690372http://tede2.pucrs.br/tede2/bitstream/tede/9832/2/DANIELA+KUINCHTNER_DIS.pdfec8bb7f4a15f0bb4f52af853994c3352MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8590http://tede2.pucrs.br/tede2/bitstream/tede/9832/1/license.txt220e11f2d3ba5354f917c7035aadef24MD51tede/98322021-09-01 12:00:23.967oai:tede2.pucrs.br:tede/9832QXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIEVsZXRyP25pY2E6IENvbSBiYXNlIG5vIGRpc3Bvc3RvIG5hIExlaSBGZWRlcmFsIG4/OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYT8/byBlbGV0cj9uaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWY/Y2lhIFVuaXZlcnNpZGFkZSBDYXQ/bGljYSBkbyBSaW8gR3JhbmRlIGRvIFN1bCwgc2VkaWFkYSBhIEF2LiBJcGlyYW5nYSA2NjgxLCBQb3J0byBBbGVncmUsIFJpbyBHcmFuZGUgZG8gU3VsLCBjb20gcmVnaXN0cm8gZGUgQ05QSiA4ODYzMDQxMzAwMDItODEgYmVtIGNvbW8gZW0gb3V0cmFzIGJpYmxpb3RlY2FzIGRpZ2l0YWlzLCBuYWNpb25haXMgZSBpbnRlcm5hY2lvbmFpcywgY29ucz9yY2lvcyBlIHJlZGVzID9zIHF1YWlzIGEgYmlibGlvdGVjYSBkYSBQVUNSUyBwb3NzYSBhIHZpciBwYXJ0aWNpcGFyLCBzZW0gP251cyBhbHVzaXZvIGFvcyBkaXJlaXRvcyBhdXRvcmFpcywgYSB0P3R1bG8gZGUgZGl2dWxnYT8/byBkYSBwcm9kdT8/byBjaWVudD9maWNhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2021-09-01T15:00:23Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false |
dc.title.por.fl_str_mv |
Solving a markov decision process multidimensional problem with tensor decomposition |
dc.title.alternative.por.fl_str_mv |
Solucionando um problema multidimensional de processo de decisão de markov utilizando decomposição de tensores |
title |
Solving a markov decision process multidimensional problem with tensor decomposition |
spellingShingle |
Solving a markov decision process multidimensional problem with tensor decomposition Kuinchtner, Daniela Artificial Intelligence CANDECOMP-PARAFAC Decomposition Markov Decision Process Tensor Algebra Tensor Decomposition Inteligência Artificial Decomposição CANDECOMP-PARAFAC Processo de ´Decisão de Markov Ágebra Tensorial Decomposição de Tensores CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
title_short |
Solving a markov decision process multidimensional problem with tensor decomposition |
title_full |
Solving a markov decision process multidimensional problem with tensor decomposition |
title_fullStr |
Solving a markov decision process multidimensional problem with tensor decomposition |
title_full_unstemmed |
Solving a markov decision process multidimensional problem with tensor decomposition |
title_sort |
Solving a markov decision process multidimensional problem with tensor decomposition |
author |
Kuinchtner, Daniela |
author_facet |
Kuinchtner, Daniela |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Sales, Afonso Henrique Correa de |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/4329466230451089 |
dc.contributor.advisor-co1.fl_str_mv |
Meneguzzi, Felipe Rech |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/5973550650941724 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/6827209674629253 |
dc.contributor.author.fl_str_mv |
Kuinchtner, Daniela |
contributor_str_mv |
Sales, Afonso Henrique Correa de Meneguzzi, Felipe Rech |
dc.subject.eng.fl_str_mv |
Artificial Intelligence CANDECOMP-PARAFAC Decomposition Markov Decision Process Tensor Algebra Tensor Decomposition |
topic |
Artificial Intelligence CANDECOMP-PARAFAC Decomposition Markov Decision Process Tensor Algebra Tensor Decomposition Inteligência Artificial Decomposição CANDECOMP-PARAFAC Processo de ´Decisão de Markov Ágebra Tensorial Decomposição de Tensores CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
dc.subject.por.fl_str_mv |
Inteligência Artificial Decomposição CANDECOMP-PARAFAC Processo de ´Decisão de Markov Ágebra Tensorial Decomposição de Tensores |
dc.subject.cnpq.fl_str_mv |
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
description |
Processo de Decisão de Markov (MDP) é um modelo usado para planejamento de tomada de decisão de agentes em ambientes estocásticos e completamente observáveis. Embora, muita pesquisa se concentra na solução de problemas de MDPs atômicos em formas tabulares ou MDPs com representações fatoradas, nenhuma se baseia em métodos de decomposição de tensores. Resolver MDPs usando álgebra tensorial oferece a perspectiva de alavancar avanços em cálculos baseados em tensor para aumentar a eficiência de solucionadores de MDP. Nesta pesquisa, primeiro, é formalizado problemas multidimensionais de MDP usando álgebra tensorial. Segundo, é desenvolvido um solucionador de MDP usando o método de decomposição de tensor CANDECOMP-PARAFAC para compactar as matrizes de transição de estados. O solucionador utiliza os algoritmos de iteração de valor e iteração de política para computar a solução de forma compacta. Então, os algoritmos compactos são avaliados de forma empírica em comparação com métodos tabulares. Como resultados, é mostrado que a abordagem tensorial pode computar problemas maiores usando substancialmente menos memória, abrindo novas possibilidades para métodos baseadas em tensores para o planejamento estocástico. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-09-01T13:54:18Z |
dc.date.issued.fl_str_mv |
2021-03-05 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://tede2.pucrs.br/tede2/handle/tede/9832 |
url |
http://tede2.pucrs.br/tede2/handle/tede/9832 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.program.fl_str_mv |
-4570527706994352458 |
dc.relation.confidence.fl_str_mv |
500 500 600 |
dc.relation.cnpq.fl_str_mv |
-862078257083325301 |
dc.relation.sponsorship.fl_str_mv |
3590462550136975366 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
PUCRS |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Escola Politécnica |
publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) instacron:PUC_RS |
instname_str |
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
instacron_str |
PUC_RS |
institution |
PUC_RS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
collection |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
bitstream.url.fl_str_mv |
http://tede2.pucrs.br/tede2/bitstream/tede/9832/4/DANIELA+KUINCHTNER_DIS.pdf.jpg http://tede2.pucrs.br/tede2/bitstream/tede/9832/3/DANIELA+KUINCHTNER_DIS.pdf.txt http://tede2.pucrs.br/tede2/bitstream/tede/9832/2/DANIELA+KUINCHTNER_DIS.pdf http://tede2.pucrs.br/tede2/bitstream/tede/9832/1/license.txt |
bitstream.checksum.fl_str_mv |
baa8488db8a9d1b5130bea14d8d58eae e099795fc9c2deaf5bcea9e401085c81 ec8bb7f4a15f0bb4f52af853994c3352 220e11f2d3ba5354f917c7035aadef24 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
repository.mail.fl_str_mv |
biblioteca.central@pucrs.br|| |
_version_ |
1799765351627489280 |