Reinforcement Learning for Predictive Aircraft Maintenance
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10316/92094 |
Resumo: | Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
id |
RCAP_033dcec5463e95f688b18a8abadbcf12 |
---|---|
oai_identifier_str |
oai:estudogeral.uc.pt:10316/92094 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Reinforcement Learning for Predictive Aircraft MaintenanceAprendizagem por Reforço para Manutenção Preditiva de AeronavesMaintenance SchedulingManutenção de AeronavesInteligência ArtificialManutenção PreditivaAgendamento de ManutençãoAprendizagem por ReforçoAircraft MaintenanceArtificial IntelligencePredictive MaintenanceReinforcement LearningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaThe optimization of aircraft maintenance has been a focal point for airlines for many years, mainly due to the high costs associated with it. Currently, most airlines adopt preventive maintenance strategies to reduce the number of unexpected failures. However, some strategies have some flaws due to the possibility of over-maintenance and the inability to predict failures. The aim of the Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) project is to use a predictive strategy, namely Condition-Based Maintenance (CBM), to deal with these problems. The idea is to monitor the condition of components with data gathered from sensors to compute Remaining Useful Life (RUL) values, which can be used in the maintenance decision process.This work is part of the ReMAP project, and the goal is to use Reinforcement Learning (RL) to optimize the scheduling of aircraft maintenance. In the first stage, two formulations are proposed to optimize the scheduling of checks for a specified time horizon using the Deep Q-Learning (QL) algorithm. In the second stage, the Asynchronous Advantage Actor-Critic (A3C) algorithm is used to optimize a task packaging solution, while considering relevant aircraft maintenance factors, such as manpower resources and unscheduled maintenance. Moreover, a predictive task scheduling algorithm is proposed, using prognostic information to adapt the existing maintenance plan.The proposed algorithms in both stages are tested and validated using real maintenance data from a fleet of 51 aircraft. The quality of the maintenance plan obtained is evaluated according to several Key Performance Indicators (KPI). The results are very positive and promising, which indicates the potential of RL to solve this type of problem.A otimização da manutenção de aeronaves tem sido um ponto essencial para as companhias aéreas durante muitos anos, principalmente devido aos elevados custos que lhe estão associados. Atualmente, a maioria das companhias aéreas adotam estratégias de manutenção preventivas para reduzir o número de falhas inesperadas. Contudo, algumas destas estratégias apresentam alguns defeitos devido à possibilidade de realizar manutenção em excesso e à incapacidade de prever falhas. O projeto Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) tem como objetivo usar uma estratégia preditiva, tal como a Condition-Based Maintenance (CBM), para lidar com estes problemas. A ideia é monitorizar a condição de componentes com dados recolhidos de sensores para calcular valores de Remaining Useful Life (RUL), que podem ser aplicados posteriormente no processo de decisão de manutenção.Este trabalho faz parte do projeto ReMAP, tendo como objetivo o uso de Reinforcement Learning (RL) para otimizar o agendamento de manutenção para aeronaves. Na primeira etapa, são propostas duas formulações para otimizar o agendamento de checks para um horizonte temporal especifico usando o algoritmo Deep Q-Learning (QL). Na segunda etapa, o algoritmo Asynchronous Advantage Actor-Critic (A3C) é usado para otimizar uma solução de empacotamento de tarefas, considerando alguns fatores importantes na manutenção de aeronaves, tais como recursos humanos e manutenção inesperada. Além disso, um algoritmo de agendamento preditivo de tarefas é proposto, usando informação de prognóstico para adaptar o plano de manutenção existente.Os algoritmos propostos para ambas as etapas são testados e validados com dados reais de manutenção de uma frota de 51 aeronaves. A qualidade do plano de manutenção obtido é avaliado de acordo com vários Key Performance Indicators (KPI). Os resultados são muito positivos e promissores, indicando o potencial de RL para resolver este tipo de problemas.H20202020-09-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/92094http://hdl.handle.net/10316/92094TID:202553892engAndrade, Pedro Manuel Cerveirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T04:48:11Zoai:estudogeral.uc.pt:10316/92094Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:11:16.562840Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Reinforcement Learning for Predictive Aircraft Maintenance Aprendizagem por Reforço para Manutenção Preditiva de Aeronaves |
title |
Reinforcement Learning for Predictive Aircraft Maintenance |
spellingShingle |
Reinforcement Learning for Predictive Aircraft Maintenance Andrade, Pedro Manuel Cerveira Maintenance Scheduling Manutenção de Aeronaves Inteligência Artificial Manutenção Preditiva Agendamento de Manutenção Aprendizagem por Reforço Aircraft Maintenance Artificial Intelligence Predictive Maintenance Reinforcement Learning |
title_short |
Reinforcement Learning for Predictive Aircraft Maintenance |
title_full |
Reinforcement Learning for Predictive Aircraft Maintenance |
title_fullStr |
Reinforcement Learning for Predictive Aircraft Maintenance |
title_full_unstemmed |
Reinforcement Learning for Predictive Aircraft Maintenance |
title_sort |
Reinforcement Learning for Predictive Aircraft Maintenance |
author |
Andrade, Pedro Manuel Cerveira |
author_facet |
Andrade, Pedro Manuel Cerveira |
author_role |
author |
dc.contributor.author.fl_str_mv |
Andrade, Pedro Manuel Cerveira |
dc.subject.por.fl_str_mv |
Maintenance Scheduling Manutenção de Aeronaves Inteligência Artificial Manutenção Preditiva Agendamento de Manutenção Aprendizagem por Reforço Aircraft Maintenance Artificial Intelligence Predictive Maintenance Reinforcement Learning |
topic |
Maintenance Scheduling Manutenção de Aeronaves Inteligência Artificial Manutenção Preditiva Agendamento de Manutenção Aprendizagem por Reforço Aircraft Maintenance Artificial Intelligence Predictive Maintenance Reinforcement Learning |
description |
Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
publishDate |
2020 |
dc.date.none.fl_str_mv |
2020-09-15 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/92094 http://hdl.handle.net/10316/92094 TID:202553892 |
url |
http://hdl.handle.net/10316/92094 |
identifier_str_mv |
TID:202553892 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1817552779377377280 |