Reinforcement Learning aplicado para otimização da produção de poços de elevação de petróleo

• Autor(a) principal: Kucyk, Daniel Gabbardo
• Data de Publicação: 2021
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/235707
• topic: Poços de petróleo; Otimização; Aprendizado de máquina; Reinforcement learning; Actor-critic; Machine learning; Oil lift wells; Process optimization

A indústria petrolífera agrega grandes lucros a pequenos ganhos na produção, sendo de interesse otimizar o processo produtivo. Com o intuito de buscar novas formas para isso, o estudo explora a aplicabilidade do conceito de reinforcement learning (RL) em poços de elevação de petróleo. RL é um método de aprendizagem de máquina em crescente estudo e utilização na academia e indústria. RL possui um caráter exploratório, essa característica situacionalmente possibilita encontrar caminhos não ortodoxos que geram resultados excepcionais. Contudo, atualmente não há literatura envolvendo a utilização desse método para a otimização da produção de petróleo. Foi utilizado um método denominado actor-critic (AC) que, como todos os métodos de RL, envolve a interação de um agente no ambiente, com base em uma política, de modo a maximizar um sinal de recompensa. O método em questão atualiza continuamente a política com base nas recompensas obtidas, possibilitando explorar de maneira mais robusta a dinâmica do sistema de elevação de petróleo. Foi utilizado o modelo denominado FOWM para poços de petróleo como base para os testes de otimização. Nele atuou o método AC e, para comparação, dois métodos de otimização: um determinístico e local (COBYLA) e outro estocástico e global (Differential Evolution). O objetivo era o mesmo para todos: alcançar a maior produção, também entendido como a maior abertura da válvula choke, sem gerar golfadas. O método AC teve sucesso em gerar resultados viáveis, alcançando 72,8% de abertura de válvula, sem golfadas. Contudo, o tempo de execução é de aproximadamente 11,6 horas, demasiadamente elevado. Differential Evolution apresentou resultados inferiores para otimização do problema em questão, gerando resultados mais ágeis que os do método AC, porém menos eficazes. O método COBYLA apresentou o melhor resultado com o menor tempo de execução, alcançando 73,70% de abertura de válvula em aproximadamente 6 minutos. Entende-se que, de acordo com a configuração implementada neste estudo, não há motivos para escolher o método AC em detrimento ao método COBYLA. Os resultados também apontam uma não dependência do resultado do AC com o número de iterações, direcionando possíveis aprimoramentos para aumentar a efetividade desse algoritmo. Todavia, considera-se que o estudo obteve sucesso em implementar a metodologia de RL para poços de elevação de petróleo e que o tópico apresenta diversas oportunidades.