Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10316/88031 |
Resumo: | Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
id |
RCAP_61e7a0e8485d8c3e1bbdbdf28436059b |
---|---|
oai_identifier_str |
oai:estudogeral.uc.pt:10316/88031 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft PlanningDeep Reinforcement Learning for Condition Based Monitoring in Aircraft Planningcalendarização de tarefasmanutenção de aeronavescondition-based maintenanceQ-learningreinforcement learningaircraft maintenancecondition-based maintenanceQ-learningreinforcement learningtask schedulingDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaAtualmente, as manutenções na aviação são maioritariamente pré-programadas ou reactivas. Estas técnicas podem levar a manutenção excessiva, mais tempo e recursos gastos, menor disponibilidade de aeronaves e despesas altas. Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) pretende solucionar este problema, para isso introduzindo uma proposta que procura, fazendo uso de sensores e algoritmos de última geração, aplicar condition-based maintenance (CBM) em aeronaves comerciais, possibilitando a integração da monitorização em tempo real dos sistemas de aeronaves com um agente reinforcement learning (RL) de tomada de decisões, capaz de formular um plano de manutenções ótimo. A proposta integra várias work packages (WPs), cada uma delas com um papel diferente no projeto: desde a extração de dados dos sistemas das aeronaves à definição de um plano de manutenção para uma frota inteira. Este estágio foi embutido na WP responsável pelo desenvolvimento da MDST, encarregue de planear e atribuir tarefas de manutenção para uma frota de aviões. A versão final desta ferramenta irá receber informação de cada manutenção periódica de cada aeronave juntamente com pedidos de manutenção inesperados que possam surgir dos prognósticos de saúde das aeronaves. O intuito será distribuir essas tarefas por um prazo pré-definido de maneira a criar um calendário de manutenções praticável. Todavia, inicialmente, como prova de conceito, a MDST irá criar um planeamento que apenas inclua manutenções periódicas. Portanto, o objetivo do estágio foi usar RL de maneira a calendarizar trabalhos de manutenção de uma frota com 51 aviões para o prazo de 6 anos. Os nossos resultados demonstram que o algoritmo de RL converge rapidamente e tem um melhor desempenho do que uma solução gananciosa.Currently, maintenance in aviation is mostly pre-scheduled or done reactively. These techniques may prompt to over-maintenance, more time and resources spent, less aircraft availability and high expenses. Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) intends to solve this issue by introducing a proposal that seeks, by using sensors and state-of-the-art algorithms, to apply condition-based maintenance (CBM) in commercial aircraft, allowing real-time health monitoring of the aircraft’s systems to be integrated with a decision making reinforcement learning (RL) agent to formulate an optimal maintenance scheduling plan. The proposal integrates different work packages (WPs), each of them with a different role in the project: from collecting data from the aircraft’s systems to defining a maintenance plan for a whole fleet. This internship was embedded in the WP responsible for the development of the maintenance decision support tool (MDST), in charge of planning and assigning maintenance tasks for a fleet of aircraft. The final version of the tool is envisioned to receive information about each aircraft’s periodical maintenance checks plus any unexpected maintenance needs that might arise from the aircraft’s health prognostics. These maintenance tasks will be assigned to time-frames in order to create a feasible maintenance schedule. Nevertheless, as an introductory concept proof, the MDST must organize a maintenance schedule for periodic tasks, only. Accordingly, the internship’s goal was to use RL to assign periodical maintenance checks for a fleet of 51 aircraft over 6 years. Our results show that the RL algorithm converges quickly and performs significantly better than a greedy solution.2019-09-12info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/88031http://hdl.handle.net/10316/88031TID:202307263engmetadata only accessinfo:eu-repo/semantics/openAccessFerreira, Pedro Filipe Soaresreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2021-06-08T11:18:16Zoai:estudogeral.uc.pt:10316/88031Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:08:49.853312Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
title |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
spellingShingle |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning Ferreira, Pedro Filipe Soares calendarização de tarefas manutenção de aeronaves condition-based maintenance Q-learning reinforcement learning aircraft maintenance condition-based maintenance Q-learning reinforcement learning task scheduling |
title_short |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
title_full |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
title_fullStr |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
title_full_unstemmed |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
title_sort |
Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning |
author |
Ferreira, Pedro Filipe Soares |
author_facet |
Ferreira, Pedro Filipe Soares |
author_role |
author |
dc.contributor.author.fl_str_mv |
Ferreira, Pedro Filipe Soares |
dc.subject.por.fl_str_mv |
calendarização de tarefas manutenção de aeronaves condition-based maintenance Q-learning reinforcement learning aircraft maintenance condition-based maintenance Q-learning reinforcement learning task scheduling |
topic |
calendarização de tarefas manutenção de aeronaves condition-based maintenance Q-learning reinforcement learning aircraft maintenance condition-based maintenance Q-learning reinforcement learning task scheduling |
description |
Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019-09-12 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/88031 http://hdl.handle.net/10316/88031 TID:202307263 |
url |
http://hdl.handle.net/10316/88031 |
identifier_str_mv |
TID:202307263 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
metadata only access info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
metadata only access |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799133981502865408 |