Abordagens eficientes e aproximadas com políticas estacionárias para CVaR MDP

• Autor(a) principal: Pais, Dênis Benevolo
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-30012020-115648/
• topic: CVaR; CVaR; Markov Decision Process; Política Estacionária; Processo de Decisão Markoviano; Processo de Decisão Markoviano Sensível ao Risco; Risk-Sensitive Markovian Decision Process; Stationary Policy

Processos de decisão Markovianos (Markov Decision Processes - MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado em MDPs é a minimização do custo total esperado. Porém, esta abordagem não leva em consideração flutuações em torno da média, o que pode afetar significativamente o desempenho geral do processo. MDPs que lidam com esse tipo de problema são chamados de MDPs sensíveis a risco. Um tipo especial de MDP sensível a risco é o CVaR MDP, que inclui a métrica CVaR (Conditional-Value-at-Risk) comumente utilizada na área financeira. Um algoritmo que encontra a política ótima para CVaR MDPs é o algoritmo de Iteração de Valor com Interpolação Linear chamado CVaRVILI. O algoritmo CVaRVILI precisa resolver problemas de programação linear várias vezes, o que faz com que o algoritmo tenha um alto custo computacional. O objetivo principal deste trabalho é projetar abordagens eficientes e aproximadas com políticas estacionárias para CVaR MDPs. Para tal, é proposto um algoritmo que avalia uma política estacionária para CVaR MDPs de custo constante e que não precisa resolver problemas de programação linear, esse algoritmo é chamado de PECVaR. PECVaR é utilizado para inicializar o algoritmo CVaRVILI e também é utilizado para se obter um novo algoritmo heurístico para CVaR MDPs chamado MPCVaR (Multi Policy CVaR)