Reinforcement Learning for Predictive Aircraft Maintenance

Detalhes bibliográficos
Autor(a) principal: Andrade, Pedro Manuel Cerveira
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/92094
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_033dcec5463e95f688b18a8abadbcf12
oai_identifier_str oai:estudogeral.uc.pt:10316/92094
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Reinforcement Learning for Predictive Aircraft MaintenanceAprendizagem por Reforço para Manutenção Preditiva de AeronavesMaintenance SchedulingManutenção de AeronavesInteligência ArtificialManutenção PreditivaAgendamento de ManutençãoAprendizagem por ReforçoAircraft MaintenanceArtificial IntelligencePredictive MaintenanceReinforcement LearningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaThe optimization of aircraft maintenance has been a focal point for airlines for many years, mainly due to the high costs associated with it. Currently, most airlines adopt preventive maintenance strategies to reduce the number of unexpected failures. However, some strategies have some flaws due to the possibility of over-maintenance and the inability to predict failures. The aim of the Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) project is to use a predictive strategy, namely Condition-Based Maintenance (CBM), to deal with these problems. The idea is to monitor the condition of components with data gathered from sensors to compute Remaining Useful Life (RUL) values, which can be used in the maintenance decision process.This work is part of the ReMAP project, and the goal is to use Reinforcement Learning (RL) to optimize the scheduling of aircraft maintenance. In the first stage, two formulations are proposed to optimize the scheduling of checks for a specified time horizon using the Deep Q-Learning (QL) algorithm. In the second stage, the Asynchronous Advantage Actor-Critic (A3C) algorithm is used to optimize a task packaging solution, while considering relevant aircraft maintenance factors, such as manpower resources and unscheduled maintenance. Moreover, a predictive task scheduling algorithm is proposed, using prognostic information to adapt the existing maintenance plan.The proposed algorithms in both stages are tested and validated using real maintenance data from a fleet of 51 aircraft. The quality of the maintenance plan obtained is evaluated according to several Key Performance Indicators (KPI). The results are very positive and promising, which indicates the potential of RL to solve this type of problem.A otimização da manutenção de aeronaves tem sido um ponto essencial para as companhias aéreas durante muitos anos, principalmente devido aos elevados custos que lhe estão associados. Atualmente, a maioria das companhias aéreas adotam estratégias de manutenção preventivas para reduzir o número de falhas inesperadas. Contudo, algumas destas estratégias apresentam alguns defeitos devido à possibilidade de realizar manutenção em excesso e à incapacidade de prever falhas. O projeto Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) tem como objetivo usar uma estratégia preditiva, tal como a Condition-Based Maintenance (CBM), para lidar com estes problemas. A ideia é monitorizar a condição de componentes com dados recolhidos de sensores para calcular valores de Remaining Useful Life (RUL), que podem ser aplicados posteriormente no processo de decisão de manutenção.Este trabalho faz parte do projeto ReMAP, tendo como objetivo o uso de Reinforcement Learning (RL) para otimizar o agendamento de manutenção para aeronaves. Na primeira etapa, são propostas duas formulações para otimizar o agendamento de checks para um horizonte temporal especifico usando o algoritmo Deep Q-Learning (QL). Na segunda etapa, o algoritmo Asynchronous Advantage Actor-Critic (A3C) é usado para otimizar uma solução de empacotamento de tarefas, considerando alguns fatores importantes na manutenção de aeronaves, tais como recursos humanos e manutenção inesperada. Além disso, um algoritmo de agendamento preditivo de tarefas é proposto, usando informação de prognóstico para adaptar o plano de manutenção existente.Os algoritmos propostos para ambas as etapas são testados e validados com dados reais de manutenção de uma frota de 51 aeronaves. A qualidade do plano de manutenção obtido é avaliado de acordo com vários Key Performance Indicators (KPI). Os resultados são muito positivos e promissores, indicando o potencial de RL para resolver este tipo de problemas.H20202020-09-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/92094http://hdl.handle.net/10316/92094TID:202553892engAndrade, Pedro Manuel Cerveirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T04:48:11Zoai:estudogeral.uc.pt:10316/92094Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:11:16.562840Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Reinforcement Learning for Predictive Aircraft Maintenance
Aprendizagem por Reforço para Manutenção Preditiva de Aeronaves
title Reinforcement Learning for Predictive Aircraft Maintenance
spellingShingle Reinforcement Learning for Predictive Aircraft Maintenance
Andrade, Pedro Manuel Cerveira
Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
title_short Reinforcement Learning for Predictive Aircraft Maintenance
title_full Reinforcement Learning for Predictive Aircraft Maintenance
title_fullStr Reinforcement Learning for Predictive Aircraft Maintenance
title_full_unstemmed Reinforcement Learning for Predictive Aircraft Maintenance
title_sort Reinforcement Learning for Predictive Aircraft Maintenance
author Andrade, Pedro Manuel Cerveira
author_facet Andrade, Pedro Manuel Cerveira
author_role author
dc.contributor.author.fl_str_mv Andrade, Pedro Manuel Cerveira
dc.subject.por.fl_str_mv Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
topic Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-09-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/92094
http://hdl.handle.net/10316/92094
TID:202553892
url http://hdl.handle.net/10316/92094
identifier_str_mv TID:202553892
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1817552779377377280