Airport runway detection using convolutional neural networks
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) |
Texto Completo: | https://www.repositorio.mar.mil.br/handle/ripcmb/845799 |
Resumo: | Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso. |
id |
MB_4765063a634fcc31b6430f3ccc5b03bb |
---|---|
oai_identifier_str |
oai:www.repositorio.mar.mil.br:ripcmb/845799 |
network_acronym_str |
MB |
network_name_str |
Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) |
repository_id_str |
|
spelling |
Lima, Victor AndréMaximo, Marcos Ricardo Omena de AlbuquerqueSêcco, Ney RafaelMoscati, Ney Ricardo2023-01-26T13:58:08Z2023-01-26T13:58:08Z2022https://www.repositorio.mar.mil.br/handle/ripcmb/845799Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso.The recent advancement in computational power allowed the world to give more use of deep learning algorithms. The image processing task is on itself data-hungry, but showed to be of exetreme importance in many fields of knowledge. In this work, a runway detection method, for aircraft during landing phase, based on convolutional neural network is made with the motivation to reduce pilot workload, increase flight safety during landing and take new steps towards single-piloted or even unmanned commercial flights. With the results, the network could successsfully converge its loss function on the training dataset and alidation dataset, and inference on severeal images from test dataset and real runway images gave good results for keypoint and bounding boxes predictions. Our numerical results indicate that virtual runway images can be used in order to pretrain a netwaork to detect real runway images, so we contribute to a chearper and faster approach on the development of suck technology. Further analysis on estimatives for orientation and position of the aircraft camera from predicted keypoint indicate the work to be promising. Even being an initial work, the results gave a robust error histogram which could be easyly controlled by filtering outliers and by data fusion with other sensors in real application. Overall, we contribute with results indicating that virtual training, using data augmentation methods for dataset enrichment, benefits real detection and that the keypoint predictions may be used together with pose estimation algorithm to give estimates of aircraft pose related to runway.Instituto Tecnológico da Aeronáutica (ITA)AeronáuticaRedes neuraisProcessamento de imagensPistas de pouso e decolagensSimulação computadorizadaBanco de dados de imagensSegurança de vooAirport runway detection using convolutional neural networksinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)instname:Marinha do Brasil (MB)instacron:MBORIGINALVICTOR_DISSERTACAO_PEE-1.pdfVICTOR_DISSERTACAO_PEE-1.pdfapplication/pdf41861687https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/1/VICTOR_DISSERTACAO_PEE-1.pdf2188dd6b2a8d9d79d58f370b08be520eMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-83272https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/2/license.txt8ff7ce654d5215cee2106f3e3b7eb37fMD52ripcmb/8457992023-01-26 11:15:07.145oai:www.repositorio.mar.mil.br:ripcmb/845799QW8gY29uY29yZGFyIGNvbSBlc3RhIGxpY2Vuw6dhLCBvIFNyLiBhdXRvcihlcykgb3UgdGl0dWxhcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRhIG9icmEgYXF1aSBkZXNjcml0YSAgIGNvbmNlZGUobSkgICDDoCAgIE1BUklOSEEgIERPICAgQlJBU0lMLCAgIGdlc3RvcmEgICBkYSAgUmVkZSAgIEJJTSAgIGUgICBkbyAgIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIE1hcmluaGEgZG8gQnJhc2lsIChSSS1NQiksIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCBjb252ZXJ0ZXIgKGNvbW8gZGVmaW5pZG8gYWJhaXhvKSBlL291IGRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZGVwb3NpdGFkbyBlbSBmb3JtYXRvIGltcHJlc3NvLCBlbGV0csO0bmljbyBvdSBlbSBxdWFscXVlciBvdXRybyBtZWlvLiBPIFNyKHMpIGNvbmNvcmRhKG0pIHF1ZSBhIE1BUklOSEEgRE8gQlJBU0lMLCBnZXN0b3JhIGRhIFJlZGUgQklNIGUgZG8gUkktTUIsIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCBjb252ZXJ0ZXIgbyBhcnF1aXZvIGRlcG9zaXRhZG8gYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4gTyAgU3IocykgIHRhbWLDqW0gIGNvbmNvcmRhKG0pICBxdWUgIGEgIE1BUklOSEEgIERPICBCUkFTSUwsICBnZXN0b3JhICBkYSAgUmVkZSAgQklNICBlICBkbyAgUkktTUIsICBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGVzdGUgZGVww7NzaXRvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUvb3UgcHJlc2VydmHDp8Ojby5PICBTcihzKSAgZGVjbGFyYShtKSAgcXVlICBhICBhcHJlc2VudGHDp8OjbyAgZG8gIHNldSAgdHJhYmFsaG8gIMOpICBvcmlnaW5hbCAgZSAgcXVlICBvICBTcihzKSAgcG9kZShtKSAgY29uY2VkZXIgIG9zICBkaXJlaXRvcyAgY29udGlkb3MgIG5lc3RhICBsaWNlbsOnYS4gIE8gIFNyKHMpICB0YW1iw6ltICBkZWNsYXJhKG0pICBxdWUgIG8gIGVudmlvICDDqSAgZGUgIHNldSAgY29uaGVjaW1lbnRvICBlICBuw6NvICBpbmZyaW5nZSAgb3MgIGRpcmVpdG9zICBhdXRvcmFpcyAgZGUgIG91dHJhICBwZXNzb2EgIG91ICBpbnN0aXR1acOnw6NvLiAgQ2FzbyAgbyAgZG9jdW1lbnRvICBhICBzZXIgIGRlcG9zaXRhZG8gIGNvbnRlbmhhICBtYXRlcmlhbCAgcGFyYSAgbyAgcXVhbCAgbyAgU3IocykgIG7Do28gIGRldMOpbSAgYSAgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBkZSBhdXRvcmFpcywgbyBTcihzKSBkZWNsYXJhKG0pIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgY29uY2VkZXIgw6AgTUFSSU5IQSBETyBCUkFTSUwsIGdlc3RvcmEgZGEgUmVkZSBCSU0gZSBkbyBSSS1NQiwgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbsOnYSBlIHF1ZSBvcyBtYXRlcmlhaXMgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zLCBlc3TDo28gZGV2aWRhbWVudGUgaWRlbnRpZmljYWRvcyBlIHJlY29uaGVjaWRvcyBubyB0ZXh0byBvdSBjb250ZcO6ZG8gZGEgYXByZXNlbnRhw6fDo28uIENBU08gIE8gIFRSQUJBTEhPICBERVBPU0lUQURPICBURU5IQSAgU0lETyAgRklOQU5DSUFETyAgT1UgIEFQT0lBRE8gIFBPUiAgVU0gIMOTUkfDg08sICBRVUUgIE7Dg08gIEEgIElOU1RJVFVJw4fDg08gIERFU1RFICBSRVNQT1NJVMOTUklPOiAgTyAgU1IgIERFQ0xBUkEgIFRFUiAgQ1VNUFJJRE8gVE9ET1MgT1MgRElSRUlUT1MgREUgUkVWSVPDg08gRSBRVUFJU1FVRVIgT1VUUkFTIE9CUklHQcOHw5VFUyBSRVFVRVJJREFTIFBFTE8gQ09OVFJBVE8gT1UgQUNPUkRPLk8gICAgU3IocykgICAgY29uY29yZGEobSkgICAgY29tICAgIGEgICAgTGljZW7Dp2EgICAgQ3JlYXRpdmUgICAgQ29tbW9ucyAgICBhZG90YWRhICAgIHBhcmEgICAgZXN0ZSAgICBSZXBvc2l0w7NyaW8gICAgSW5zdGl0dWNpb25hbCAgICBxdWUgICAgY29uY2VkZSAgICBvICAgIGRpcmVpdG8gICAgZGUgICAgQ09NUEFSVElMSEFSICAgIGUgICAgYXMgICAgcmVzdHJpw6fDtWVzICAgIGRlICAgIEFUUklCVUnDh8ODTywgICAgTsODTyAgICBDT01FUkNJQUxJWkHDh8ODTyAgICBFICAgIFNFTSAgICBERVJJVkHDh8OVRVMuQ09NUEFSVElMSEFSOiAgY29waWFyICBlICByZWRpc3RyaWJ1aXIgIG8gIG1hdGVyaWFsICBlbSAgcXVhbHF1ZXIgIHN1cG9ydGUgIG91ICBmb3JtYXRvICBlICBvICBsaWNlbmNpYW50ZSBuw6NvIHBvZGUgcmV2b2dhciBlc3RlcyBkaXJlaXRvcyBkZXNkZSBxdWUgbyBTcihzKSByZXNwZWl0ZShtKSBvcyB0ZXJtb3MgZGEgbGljZW7Dp2EuQVRSSUJVScOHw4NPOiAgbyAgU3IocykgIGRldmUobSkgIGRhciAgbyAgY3LDqWRpdG8gIGFwcm9wcmlhZG8sICBwcm92ZXIgIHVtICBsaW5rICBwYXJhICBhICBsaWNlbsOnYSAgZSAgaW5kaWNhciAgc2UgIG11ZGFuw6dhcyAgZm9yYW0gIGZlaXRhcy4gIE8gIFNyKHMpICBkZXZlKG0pICBmYXrDqi1sbyAgZW0gIHF1YWxxdWVyICBjaXJjdW5zdMOibmNpYSByYXpvw6F2ZWwsIG1hcyBkZSBtYW5laXJhIGFsZ3VtYSBxdWUgc3VnaXJhIGFvIGxpY2VuY2lhbnRlIGEgYXBvaWFyIG8gU3Iocykgb3UgbyBzZXUgdXNvLk7Dg08gQ09NRVJDSUFMOiBvIFNyKHMpIG7Do28gcG9kZShtKSB1c2FyIG8gbWF0ZXJpYWwgcGFyYSBmaW5zIGNvbWVyY2lhaXMuU0VNIERFUklWQcOHw5VFUzogc2UgbyBTcihzKSByZW1peGFyKGVtKSwgdHJhbnNmb3JtYXIoZW0pIG91IGNyaWFyKGVtKSBhIHBhcnRpciBkbyBtYXRlcmlhbCwgbyBTcihzKSBuw6NvIHBvZGUobSkgZGlzdHJpYnVpciBvIG1hdGVyaWFsIG1vZGlmaWNhZG8uU0VNIFJFU1RSScOHw5VFUyBBRElDSU9OQUlTOiBvIFNyKHMpIG7Do28gcG9kZShtKSBhcGxpY2FyIHRlcm1vcyBqdXLDrWRpY29zIG91IG1lZGlkYXMgZGUgY2Fyw6F0ZXIgdGVjbm9sw7NnaWNvIHF1ZSByZXN0cmluamFtIGxlZ2FsbWVudGUgb3V0cm9zIGRlIGZhemVyZW0gYWxnbyBxdWUgYSBsaWNlbsOnYSBwZXJtaXRhLkEgUmVkZSBCSU0gZSBvIFJJLU1CIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBvIHNldShzKSBub21lKHMpIGNvbW8gYXV0b3IoZXMpIG91IHRpdHVsYXIoZXMpIGRvIGRpcmVpdG8gZGUgYXV0b3IoZXMpIGRvIGRvY3VtZW50byBzdWJtZXRpZG8gZSBkZWNsYXJhIHF1ZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvIGFsw6ltIGRhcyBwZXJtaXRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Repositório InstitucionalPUBhttps://www.repositorio.mar.mil.br/oai/requestdphdm.repositorio@marinha.mil.bropendoar:2023-01-26T14:15:07Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) - Marinha do Brasil (MB)false |
dc.title.pt_BR.fl_str_mv |
Airport runway detection using convolutional neural networks |
title |
Airport runway detection using convolutional neural networks |
spellingShingle |
Airport runway detection using convolutional neural networks Lima, Victor André Redes neurais Processamento de imagens Pistas de pouso e decolagens Simulação computadorizada Banco de dados de imagens Segurança de voo Aeronáutica |
title_short |
Airport runway detection using convolutional neural networks |
title_full |
Airport runway detection using convolutional neural networks |
title_fullStr |
Airport runway detection using convolutional neural networks |
title_full_unstemmed |
Airport runway detection using convolutional neural networks |
title_sort |
Airport runway detection using convolutional neural networks |
author |
Lima, Victor André |
author_facet |
Lima, Victor André |
author_role |
author |
dc.contributor.author.fl_str_mv |
Lima, Victor André |
dc.contributor.advisor1.fl_str_mv |
Maximo, Marcos Ricardo Omena de Albuquerque Sêcco, Ney Rafael Moscati, Ney Ricardo |
contributor_str_mv |
Maximo, Marcos Ricardo Omena de Albuquerque Sêcco, Ney Rafael Moscati, Ney Ricardo |
dc.subject.por.fl_str_mv |
Redes neurais Processamento de imagens Pistas de pouso e decolagens Simulação computadorizada Banco de dados de imagens Segurança de voo |
topic |
Redes neurais Processamento de imagens Pistas de pouso e decolagens Simulação computadorizada Banco de dados de imagens Segurança de voo Aeronáutica |
dc.subject.dgpm.pt_BR.fl_str_mv |
Aeronáutica |
description |
Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso. |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022 |
dc.date.accessioned.fl_str_mv |
2023-01-26T13:58:08Z |
dc.date.available.fl_str_mv |
2023-01-26T13:58:08Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.repositorio.mar.mil.br/handle/ripcmb/845799 |
url |
https://www.repositorio.mar.mil.br/handle/ripcmb/845799 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Instituto Tecnológico da Aeronáutica (ITA) |
publisher.none.fl_str_mv |
Instituto Tecnológico da Aeronáutica (ITA) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) instname:Marinha do Brasil (MB) instacron:MB |
instname_str |
Marinha do Brasil (MB) |
instacron_str |
MB |
institution |
MB |
reponame_str |
Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) |
collection |
Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) |
bitstream.url.fl_str_mv |
https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/1/VICTOR_DISSERTACAO_PEE-1.pdf https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/2/license.txt |
bitstream.checksum.fl_str_mv |
2188dd6b2a8d9d79d58f370b08be520e 8ff7ce654d5215cee2106f3e3b7eb37f |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) - Marinha do Brasil (MB) |
repository.mail.fl_str_mv |
dphdm.repositorio@marinha.mil.br |
_version_ |
1798310223057780736 |