Airport runway detection using convolutional neural networks

Detalhes bibliográficos
Autor(a) principal: Lima, Victor André
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)
Texto Completo: https://www.repositorio.mar.mil.br/handle/ripcmb/845799
Resumo: Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso.
id MB_4765063a634fcc31b6430f3ccc5b03bb
oai_identifier_str oai:www.repositorio.mar.mil.br:ripcmb/845799
network_acronym_str MB
network_name_str Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)
repository_id_str
spelling Lima, Victor AndréMaximo, Marcos Ricardo Omena de AlbuquerqueSêcco, Ney RafaelMoscati, Ney Ricardo2023-01-26T13:58:08Z2023-01-26T13:58:08Z2022https://www.repositorio.mar.mil.br/handle/ripcmb/845799Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso.The recent advancement in computational power allowed the world to give more use of deep learning algorithms. The image processing task is on itself data-hungry, but showed to be of exetreme importance in many fields of knowledge. In this work, a runway detection method, for aircraft during landing phase, based on convolutional neural network is made with the motivation to reduce pilot workload, increase flight safety during landing and take new steps towards single-piloted or even unmanned commercial flights. With the results, the network could successsfully converge its loss function on the training dataset and alidation dataset, and inference on severeal images from test dataset and real runway images gave good results for keypoint and bounding boxes predictions. Our numerical results indicate that virtual runway images can be used in order to pretrain a netwaork to detect real runway images, so we contribute to a chearper and faster approach on the development of suck technology. Further analysis on estimatives for orientation and position of the aircraft camera from predicted keypoint indicate the work to be promising. Even being an initial work, the results gave a robust error histogram which could be easyly controlled by filtering outliers and by data fusion with other sensors in real application. Overall, we contribute with results indicating that virtual training, using data augmentation methods for dataset enrichment, benefits real detection and that the keypoint predictions may be used together with pose estimation algorithm to give estimates of aircraft pose related to runway.Instituto Tecnológico da Aeronáutica (ITA)AeronáuticaRedes neuraisProcessamento de imagensPistas de pouso e decolagensSimulação computadorizadaBanco de dados de imagensSegurança de vooAirport runway detection using convolutional neural networksinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)instname:Marinha do Brasil (MB)instacron:MBORIGINALVICTOR_DISSERTACAO_PEE-1.pdfVICTOR_DISSERTACAO_PEE-1.pdfapplication/pdf41861687https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/1/VICTOR_DISSERTACAO_PEE-1.pdf2188dd6b2a8d9d79d58f370b08be520eMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-83272https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/2/license.txt8ff7ce654d5215cee2106f3e3b7eb37fMD52ripcmb/8457992023-01-26 11:15:07.145oai:www.repositorio.mar.mil.br:ripcmb/845799QW8gY29uY29yZGFyIGNvbSBlc3RhIGxpY2Vuw6dhLCBvIFNyLiBhdXRvcihlcykgb3UgdGl0dWxhcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRhIG9icmEgYXF1aSBkZXNjcml0YSAgIGNvbmNlZGUobSkgICDDoCAgIE1BUklOSEEgIERPICAgQlJBU0lMLCAgIGdlc3RvcmEgICBkYSAgUmVkZSAgIEJJTSAgIGUgICBkbyAgIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIE1hcmluaGEgZG8gQnJhc2lsIChSSS1NQiksIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCBjb252ZXJ0ZXIgKGNvbW8gZGVmaW5pZG8gYWJhaXhvKSBlL291IGRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZGVwb3NpdGFkbyBlbSBmb3JtYXRvIGltcHJlc3NvLCBlbGV0csO0bmljbyBvdSBlbSBxdWFscXVlciBvdXRybyBtZWlvLiBPIFNyKHMpIGNvbmNvcmRhKG0pIHF1ZSBhIE1BUklOSEEgRE8gQlJBU0lMLCBnZXN0b3JhIGRhIFJlZGUgQklNIGUgZG8gUkktTUIsIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCBjb252ZXJ0ZXIgbyBhcnF1aXZvIGRlcG9zaXRhZG8gYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4gTyAgU3IocykgIHRhbWLDqW0gIGNvbmNvcmRhKG0pICBxdWUgIGEgIE1BUklOSEEgIERPICBCUkFTSUwsICBnZXN0b3JhICBkYSAgUmVkZSAgQklNICBlICBkbyAgUkktTUIsICBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGVzdGUgZGVww7NzaXRvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUvb3UgcHJlc2VydmHDp8Ojby5PICBTcihzKSAgZGVjbGFyYShtKSAgcXVlICBhICBhcHJlc2VudGHDp8OjbyAgZG8gIHNldSAgdHJhYmFsaG8gIMOpICBvcmlnaW5hbCAgZSAgcXVlICBvICBTcihzKSAgcG9kZShtKSAgY29uY2VkZXIgIG9zICBkaXJlaXRvcyAgY29udGlkb3MgIG5lc3RhICBsaWNlbsOnYS4gIE8gIFNyKHMpICB0YW1iw6ltICBkZWNsYXJhKG0pICBxdWUgIG8gIGVudmlvICDDqSAgZGUgIHNldSAgY29uaGVjaW1lbnRvICBlICBuw6NvICBpbmZyaW5nZSAgb3MgIGRpcmVpdG9zICBhdXRvcmFpcyAgZGUgIG91dHJhICBwZXNzb2EgIG91ICBpbnN0aXR1acOnw6NvLiAgQ2FzbyAgbyAgZG9jdW1lbnRvICBhICBzZXIgIGRlcG9zaXRhZG8gIGNvbnRlbmhhICBtYXRlcmlhbCAgcGFyYSAgbyAgcXVhbCAgbyAgU3IocykgIG7Do28gIGRldMOpbSAgYSAgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBkZSBhdXRvcmFpcywgbyBTcihzKSBkZWNsYXJhKG0pIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgY29uY2VkZXIgw6AgTUFSSU5IQSBETyBCUkFTSUwsIGdlc3RvcmEgZGEgUmVkZSBCSU0gZSBkbyBSSS1NQiwgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbsOnYSBlIHF1ZSBvcyBtYXRlcmlhaXMgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zLCBlc3TDo28gZGV2aWRhbWVudGUgaWRlbnRpZmljYWRvcyBlIHJlY29uaGVjaWRvcyBubyB0ZXh0byBvdSBjb250ZcO6ZG8gZGEgYXByZXNlbnRhw6fDo28uIENBU08gIE8gIFRSQUJBTEhPICBERVBPU0lUQURPICBURU5IQSAgU0lETyAgRklOQU5DSUFETyAgT1UgIEFQT0lBRE8gIFBPUiAgVU0gIMOTUkfDg08sICBRVUUgIE7Dg08gIEEgIElOU1RJVFVJw4fDg08gIERFU1RFICBSRVNQT1NJVMOTUklPOiAgTyAgU1IgIERFQ0xBUkEgIFRFUiAgQ1VNUFJJRE8gVE9ET1MgT1MgRElSRUlUT1MgREUgUkVWSVPDg08gRSBRVUFJU1FVRVIgT1VUUkFTIE9CUklHQcOHw5VFUyBSRVFVRVJJREFTIFBFTE8gQ09OVFJBVE8gT1UgQUNPUkRPLk8gICAgU3IocykgICAgY29uY29yZGEobSkgICAgY29tICAgIGEgICAgTGljZW7Dp2EgICAgQ3JlYXRpdmUgICAgQ29tbW9ucyAgICBhZG90YWRhICAgIHBhcmEgICAgZXN0ZSAgICBSZXBvc2l0w7NyaW8gICAgSW5zdGl0dWNpb25hbCAgICBxdWUgICAgY29uY2VkZSAgICBvICAgIGRpcmVpdG8gICAgZGUgICAgQ09NUEFSVElMSEFSICAgIGUgICAgYXMgICAgcmVzdHJpw6fDtWVzICAgIGRlICAgIEFUUklCVUnDh8ODTywgICAgTsODTyAgICBDT01FUkNJQUxJWkHDh8ODTyAgICBFICAgIFNFTSAgICBERVJJVkHDh8OVRVMuQ09NUEFSVElMSEFSOiAgY29waWFyICBlICByZWRpc3RyaWJ1aXIgIG8gIG1hdGVyaWFsICBlbSAgcXVhbHF1ZXIgIHN1cG9ydGUgIG91ICBmb3JtYXRvICBlICBvICBsaWNlbmNpYW50ZSBuw6NvIHBvZGUgcmV2b2dhciBlc3RlcyBkaXJlaXRvcyBkZXNkZSBxdWUgbyBTcihzKSByZXNwZWl0ZShtKSBvcyB0ZXJtb3MgZGEgbGljZW7Dp2EuQVRSSUJVScOHw4NPOiAgbyAgU3IocykgIGRldmUobSkgIGRhciAgbyAgY3LDqWRpdG8gIGFwcm9wcmlhZG8sICBwcm92ZXIgIHVtICBsaW5rICBwYXJhICBhICBsaWNlbsOnYSAgZSAgaW5kaWNhciAgc2UgIG11ZGFuw6dhcyAgZm9yYW0gIGZlaXRhcy4gIE8gIFNyKHMpICBkZXZlKG0pICBmYXrDqi1sbyAgZW0gIHF1YWxxdWVyICBjaXJjdW5zdMOibmNpYSByYXpvw6F2ZWwsIG1hcyBkZSBtYW5laXJhIGFsZ3VtYSBxdWUgc3VnaXJhIGFvIGxpY2VuY2lhbnRlIGEgYXBvaWFyIG8gU3Iocykgb3UgbyBzZXUgdXNvLk7Dg08gQ09NRVJDSUFMOiBvIFNyKHMpIG7Do28gcG9kZShtKSB1c2FyIG8gbWF0ZXJpYWwgcGFyYSBmaW5zIGNvbWVyY2lhaXMuU0VNIERFUklWQcOHw5VFUzogc2UgbyBTcihzKSByZW1peGFyKGVtKSwgdHJhbnNmb3JtYXIoZW0pIG91IGNyaWFyKGVtKSBhIHBhcnRpciBkbyBtYXRlcmlhbCwgbyBTcihzKSBuw6NvIHBvZGUobSkgZGlzdHJpYnVpciBvIG1hdGVyaWFsIG1vZGlmaWNhZG8uU0VNIFJFU1RSScOHw5VFUyBBRElDSU9OQUlTOiBvIFNyKHMpIG7Do28gcG9kZShtKSBhcGxpY2FyIHRlcm1vcyBqdXLDrWRpY29zIG91IG1lZGlkYXMgZGUgY2Fyw6F0ZXIgdGVjbm9sw7NnaWNvIHF1ZSByZXN0cmluamFtIGxlZ2FsbWVudGUgb3V0cm9zIGRlIGZhemVyZW0gYWxnbyBxdWUgYSBsaWNlbsOnYSBwZXJtaXRhLkEgUmVkZSBCSU0gZSBvIFJJLU1CIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBvIHNldShzKSBub21lKHMpIGNvbW8gYXV0b3IoZXMpIG91IHRpdHVsYXIoZXMpIGRvIGRpcmVpdG8gZGUgYXV0b3IoZXMpIGRvIGRvY3VtZW50byBzdWJtZXRpZG8gZSBkZWNsYXJhIHF1ZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvIGFsw6ltIGRhcyBwZXJtaXRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Repositório InstitucionalPUBhttps://www.repositorio.mar.mil.br/oai/requestdphdm.repositorio@marinha.mil.bropendoar:2023-01-26T14:15:07Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) - Marinha do Brasil (MB)false
dc.title.pt_BR.fl_str_mv Airport runway detection using convolutional neural networks
title Airport runway detection using convolutional neural networks
spellingShingle Airport runway detection using convolutional neural networks
Lima, Victor André
Redes neurais
Processamento de imagens
Pistas de pouso e decolagens
Simulação computadorizada
Banco de dados de imagens
Segurança de voo
Aeronáutica
title_short Airport runway detection using convolutional neural networks
title_full Airport runway detection using convolutional neural networks
title_fullStr Airport runway detection using convolutional neural networks
title_full_unstemmed Airport runway detection using convolutional neural networks
title_sort Airport runway detection using convolutional neural networks
author Lima, Victor André
author_facet Lima, Victor André
author_role author
dc.contributor.author.fl_str_mv Lima, Victor André
dc.contributor.advisor1.fl_str_mv Maximo, Marcos Ricardo Omena de Albuquerque
Sêcco, Ney Rafael
Moscati, Ney Ricardo
contributor_str_mv Maximo, Marcos Ricardo Omena de Albuquerque
Sêcco, Ney Rafael
Moscati, Ney Ricardo
dc.subject.por.fl_str_mv Redes neurais
Processamento de imagens
Pistas de pouso e decolagens
Simulação computadorizada
Banco de dados de imagens
Segurança de voo
topic Redes neurais
Processamento de imagens
Pistas de pouso e decolagens
Simulação computadorizada
Banco de dados de imagens
Segurança de voo
Aeronáutica
dc.subject.dgpm.pt_BR.fl_str_mv Aeronáutica
description Os recentes avanços em poder computacional permitiram ao mundo o uso mais extensivo de algoritmos de aprendizado profundo. O processamento de imagens em si é uma tarefa que exige grandes quantidade de dados, mas se demonstrou de extrema importância em muitos campos de conhecimento. Neste trabalho, um método de detecção de pista de pouso para aeronaves durante a fase de pouso, baseado em rede neurais convolucionais, é proposto com o objetivo de reduzir a carga de trabalho do piloto, aumentar segurança de voo durante pouso, e dar novos passos em direção a voos comerciais de piloto único ou até autônomos. Os resultados mostram que a rede neural pôde convergir suas funções de perda nos dados de treino e de validação com sucesso, e a inferência em imagens dos dados de teste e imagens reais produziu resultados satisfatórios para keypoints e bouding box. Os resultados numéricos indicam que imagens virtuais de pistas de pouso podem ser utilizadas para pré-treinar uma rede a fim de detectar pistas de pouso em imagens reais, então o trabalho contribui para uma abordagem mais barato e rápida para desenvolvimento de tal tecnologia. Análises nas estimativas para pose da câmera obtidas pelos keypoints inferidos indicam que o projeto é promissor sendo que, mesmo sendo um trabalho inicial, os resultados proveram histogramas de erros que podem facilmente ser controlado pelo uso de filtros para remover outliers e pela fusão de dados com outros sensores em aplicações reais. Em suma, contribui-se com resultados indicativos de que o treinamento virtual, com uso de técnicas de aumento de dados para enriquecimento do banco de imagens, beneficias a detecção em imagens reais e que os keypoints inferidos podem ser usados em conjunto a algoritmos para estimar pose a fim de estimar a pode aeronaves em relação à pista de pouso.
publishDate 2022
dc.date.issued.fl_str_mv 2022
dc.date.accessioned.fl_str_mv 2023-01-26T13:58:08Z
dc.date.available.fl_str_mv 2023-01-26T13:58:08Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.repositorio.mar.mil.br/handle/ripcmb/845799
url https://www.repositorio.mar.mil.br/handle/ripcmb/845799
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Instituto Tecnológico da Aeronáutica (ITA)
publisher.none.fl_str_mv Instituto Tecnológico da Aeronáutica (ITA)
dc.source.none.fl_str_mv reponame:Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)
instname:Marinha do Brasil (MB)
instacron:MB
instname_str Marinha do Brasil (MB)
instacron_str MB
institution MB
reponame_str Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)
collection Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)
bitstream.url.fl_str_mv https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/1/VICTOR_DISSERTACAO_PEE-1.pdf
https://www.repositorio.mar.mil.br/bitstream/ripcmb/845799/2/license.txt
bitstream.checksum.fl_str_mv 2188dd6b2a8d9d79d58f370b08be520e
8ff7ce654d5215cee2106f3e3b7eb37f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB) - Marinha do Brasil (MB)
repository.mail.fl_str_mv dphdm.repositorio@marinha.mil.br
_version_ 1798310223057780736