Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio

Detalhes bibliográficos
Autor(a) principal: Victor Marcius Magalhães Pinto
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/49786
https://orcid.org/0000-0002-7340-0692
Resumo: O problema de gerenciamento de portfólio, foco deste trabalho, consiste em determinar uma alocação ótima para ativos dentro de uma carteira de ações, de forma a maximizar (ou minimizar) um ou mais objetivos. Estes geralmente relacionam-se a medidas de risco e retorno. Na literatura econômica financeira, este problema tem sido resolvido com o uso de modelos de otimização de portfólio, como Markowitz, CAPM e Black Litterman, que são executados a cada instante em que o rebalanceamento da carteira se faz necessário. Este processo de tomada de decisão, incremental e sob incerteza, pode ser visto como um processo de decisão Markoviano, o que torna atraente sua modelagem pelo paradigma de aprendizagem por reforço, sendo esta uma tendência recente discutida na literatura de aprendizagem de máquina. Este trabalho investiga o uso de técnicas de aprendizado por reforço no problema de otimização de portfólio. É realizada uma revisão da literatura existente, com seus principais aprendizados. Em um estudo de caso, um problema de controle de pesos de ativos em uma carteira é modelado como um processo de decisão Markoviano, e são aplicados algoritmos de aprendizado por reforço para atuar na otimização deste portfólio. As implementações são realizadas de maneira incremental, procurando demonstrar a lógica por trás da construção destes algoritmos. Ao final, o desempenho dos modelos é comparado com o de estratégias baseadas em Markowitz, e o resultado mostra que estas abordagens possuem boas performances, e seu uso é promissor para este tipo de problema.
id UFMG_5c7d20794b0732320e97f21442f1a1bd
oai_identifier_str oai:repositorio.ufmg.br:1843/49786
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Cristiano Leite de Castrohttp://lattes.cnpq.br/7892966809901738Luiz Carlos Bambirra TorresLucas de Souza Batistahttp://lattes.cnpq.br/2242230064380611Victor Marcius Magalhães Pinto2023-02-08T18:58:07Z2023-02-08T18:58:07Z2022-04-28http://hdl.handle.net/1843/49786https://orcid.org/0000-0002-7340-0692O problema de gerenciamento de portfólio, foco deste trabalho, consiste em determinar uma alocação ótima para ativos dentro de uma carteira de ações, de forma a maximizar (ou minimizar) um ou mais objetivos. Estes geralmente relacionam-se a medidas de risco e retorno. Na literatura econômica financeira, este problema tem sido resolvido com o uso de modelos de otimização de portfólio, como Markowitz, CAPM e Black Litterman, que são executados a cada instante em que o rebalanceamento da carteira se faz necessário. Este processo de tomada de decisão, incremental e sob incerteza, pode ser visto como um processo de decisão Markoviano, o que torna atraente sua modelagem pelo paradigma de aprendizagem por reforço, sendo esta uma tendência recente discutida na literatura de aprendizagem de máquina. Este trabalho investiga o uso de técnicas de aprendizado por reforço no problema de otimização de portfólio. É realizada uma revisão da literatura existente, com seus principais aprendizados. Em um estudo de caso, um problema de controle de pesos de ativos em uma carteira é modelado como um processo de decisão Markoviano, e são aplicados algoritmos de aprendizado por reforço para atuar na otimização deste portfólio. As implementações são realizadas de maneira incremental, procurando demonstrar a lógica por trás da construção destes algoritmos. Ao final, o desempenho dos modelos é comparado com o de estratégias baseadas em Markowitz, e o resultado mostra que estas abordagens possuem boas performances, e seu uso é promissor para este tipo de problema.The portfolio management problem, focus of this work, consists of determining the optimal asset allocation within a wallet, in order to maximize (or minimize) one or more objectives. These objectives are usually related to risk and return metrics. In financial economics literature, this problem has been solved using portfolio optimization models, such as Markowitz, CAPM and Black Litterman, which are executed for each instant when portfolio rebalancing is necessary. This decision process, incremental and under uncertainty, can be seen as a Markovian decision process, which makes modeling under reinforcement learning paradigm attractive, this being a recent trend discussed in machine learning literature. This work aims to investigate the use of reinforcement learning technics in portfolio optimization problem. A literature review is realized, with its main learnings. In a case study, a portfolio asset weight control problem is modeled as a Markovian decision process, and reinforcement learning algorithms are used to optimize it. The implementations are made in an incremental way, aiming to demonstrate the logic behind these algorithms developments. Finally, the model’s behavior is compared with Markowitz based strategies, and the result shows that these approaches hold good performances, and have a promising use for this kind of problem.porUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Engenharia ElétricaUFMGBrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAEngenharia elétricaAprendizado do computadorOtimizaçãoMercados financeiros futurosAprendizado de máquinaAprendizado por reforçoOtimização de portfólioMercados financeirosEstudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólioinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALTese Mestrado Victor Magalhaes.pdfTese Mestrado Victor Magalhaes.pdfapplication/pdf9828004https://repositorio.ufmg.br/bitstream/1843/49786/3/Tese%20Mestrado%20Victor%20Magalhaes.pdf589113b3965230117b5c02d345c3dd4cMD53LICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/49786/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD541843/497862023-02-08 15:58:07.73oai:repositorio.ufmg.br:1843/49786TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2023-02-08T18:58:07Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
title Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
spellingShingle Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
Victor Marcius Magalhães Pinto
Aprendizado de máquina
Aprendizado por reforço
Otimização de portfólio
Mercados financeiros
Engenharia elétrica
Aprendizado do computador
Otimização
Mercados financeiros futuros
title_short Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
title_full Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
title_fullStr Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
title_full_unstemmed Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
title_sort Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
author Victor Marcius Magalhães Pinto
author_facet Victor Marcius Magalhães Pinto
author_role author
dc.contributor.advisor1.fl_str_mv Cristiano Leite de Castro
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/7892966809901738
dc.contributor.referee1.fl_str_mv Luiz Carlos Bambirra Torres
dc.contributor.referee2.fl_str_mv Lucas de Souza Batista
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/2242230064380611
dc.contributor.author.fl_str_mv Victor Marcius Magalhães Pinto
contributor_str_mv Cristiano Leite de Castro
Luiz Carlos Bambirra Torres
Lucas de Souza Batista
dc.subject.por.fl_str_mv Aprendizado de máquina
Aprendizado por reforço
Otimização de portfólio
Mercados financeiros
topic Aprendizado de máquina
Aprendizado por reforço
Otimização de portfólio
Mercados financeiros
Engenharia elétrica
Aprendizado do computador
Otimização
Mercados financeiros futuros
dc.subject.other.pt_BR.fl_str_mv Engenharia elétrica
Aprendizado do computador
Otimização
Mercados financeiros futuros
description O problema de gerenciamento de portfólio, foco deste trabalho, consiste em determinar uma alocação ótima para ativos dentro de uma carteira de ações, de forma a maximizar (ou minimizar) um ou mais objetivos. Estes geralmente relacionam-se a medidas de risco e retorno. Na literatura econômica financeira, este problema tem sido resolvido com o uso de modelos de otimização de portfólio, como Markowitz, CAPM e Black Litterman, que são executados a cada instante em que o rebalanceamento da carteira se faz necessário. Este processo de tomada de decisão, incremental e sob incerteza, pode ser visto como um processo de decisão Markoviano, o que torna atraente sua modelagem pelo paradigma de aprendizagem por reforço, sendo esta uma tendência recente discutida na literatura de aprendizagem de máquina. Este trabalho investiga o uso de técnicas de aprendizado por reforço no problema de otimização de portfólio. É realizada uma revisão da literatura existente, com seus principais aprendizados. Em um estudo de caso, um problema de controle de pesos de ativos em uma carteira é modelado como um processo de decisão Markoviano, e são aplicados algoritmos de aprendizado por reforço para atuar na otimização deste portfólio. As implementações são realizadas de maneira incremental, procurando demonstrar a lógica por trás da construção destes algoritmos. Ao final, o desempenho dos modelos é comparado com o de estratégias baseadas em Markowitz, e o resultado mostra que estas abordagens possuem boas performances, e seu uso é promissor para este tipo de problema.
publishDate 2022
dc.date.issued.fl_str_mv 2022-04-28
dc.date.accessioned.fl_str_mv 2023-02-08T18:58:07Z
dc.date.available.fl_str_mv 2023-02-08T18:58:07Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/49786
dc.identifier.orcid.pt_BR.fl_str_mv https://orcid.org/0000-0002-7340-0692
url http://hdl.handle.net/1843/49786
https://orcid.org/0000-0002-7340-0692
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFMG
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/49786/3/Tese%20Mestrado%20Victor%20Magalhaes.pdf
https://repositorio.ufmg.br/bitstream/1843/49786/4/license.txt
bitstream.checksum.fl_str_mv 589113b3965230117b5c02d345c3dd4c
cda590c95a0b51b4d15f60c9642ca272
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589379881435136