Detection and correction of deformations in UAVs’ images using deep learning

Detalhes bibliográficos
Autor(a) principal: Silva, Leandro Henrique Furtado Pinto
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFU
Texto Completo: https://repositorio.ufu.br/handle/123456789/31755
http://doi.org/10.14393/ufu.di.2021.249
Resumo: Nas últimas décadas, o crescimento populacional e a demanda por alimentos impulsionaram o uso de recursos tecnológicos no que chamamos de Agricultura de Precisão (AP). Dentre essas tecnologias, a utilização de Veículos Aéreos Não Tripulados (VANTs) tem-se destacado por auxiliar, potencializar e otimizar a produção agrícola. As imagens capturadas por VANTs permitem uma visão detalhada da região analisada, visto que o voo ocorre em altitudes baixas e médias (50m a 400m). Além disso, existe uma grande variedade de sensores (câmeras RGB, sensores de captura de calor, câmeras multi e hiperespectrais, entre outros), cada um com características próprias e capaz de produzir informações diferentes. No caso da aquisição de imagens multi espectrais, cada canal da imagem é adquirida por um sensor diferente e em momentos diferentes. Assim, muitas vezes, devido à características intríncecas ao voo do VANT e a própria natureza da aquisição, dois tipos principais de deformações entre as bandas de uma mesma imagem são comumente observadas, são elas: (1) lineares e (2) não lineares. As deformações lineares consistem, por exemplo, em transformações de rotação, translação e escala; já as não lineares possuem características variadas e sem um padrão previamente definido. Para a correta análise dessas imagens na AP, é necessário identificar e corrigir essas deformações. Diante disso, propõe-se o treinamento de redes neurais profundas para as tarefas de (1) identificação da presença da deformações e (2) a predição dos campos vetoriais de deformação para realizar o registro entre bandas de uma imagem multiespectral. Resultados evidenciam que tais técnicas se mostram promissoras para a solução do problema em questão. Para a identificação da presença de deformação, conseguimos uma precisão de 99,18% em imagens com deformações lineares e 99,25% para deformações não lineares. Além disso, a abordagem proposta alcançou uma precisão de 89,90% a 93,79% na tarefa de estimar o campo de deslocamento entre as bandas. De posse desse campo estimado pela rede, é possível realizar o registro entre as bandas sem a necessidade de marcação manual de pontos.
id UFU_4d2bbfcfb615629d43589c7fadf2d8e5
oai_identifier_str oai:repositorio.ufu.br:123456789/31755
network_acronym_str UFU
network_name_str Repositório Institucional da UFU
repository_id_str
spelling Detection and correction of deformations in UAVs’ images using deep learningDetecção e correção de deformações em imagens de VANTs utilizando deep learningImage RegistrationMultispectral ImageDeep LearningPrecision AgricultureUAVCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAONas últimas décadas, o crescimento populacional e a demanda por alimentos impulsionaram o uso de recursos tecnológicos no que chamamos de Agricultura de Precisão (AP). Dentre essas tecnologias, a utilização de Veículos Aéreos Não Tripulados (VANTs) tem-se destacado por auxiliar, potencializar e otimizar a produção agrícola. As imagens capturadas por VANTs permitem uma visão detalhada da região analisada, visto que o voo ocorre em altitudes baixas e médias (50m a 400m). Além disso, existe uma grande variedade de sensores (câmeras RGB, sensores de captura de calor, câmeras multi e hiperespectrais, entre outros), cada um com características próprias e capaz de produzir informações diferentes. No caso da aquisição de imagens multi espectrais, cada canal da imagem é adquirida por um sensor diferente e em momentos diferentes. Assim, muitas vezes, devido à características intríncecas ao voo do VANT e a própria natureza da aquisição, dois tipos principais de deformações entre as bandas de uma mesma imagem são comumente observadas, são elas: (1) lineares e (2) não lineares. As deformações lineares consistem, por exemplo, em transformações de rotação, translação e escala; já as não lineares possuem características variadas e sem um padrão previamente definido. Para a correta análise dessas imagens na AP, é necessário identificar e corrigir essas deformações. Diante disso, propõe-se o treinamento de redes neurais profundas para as tarefas de (1) identificação da presença da deformações e (2) a predição dos campos vetoriais de deformação para realizar o registro entre bandas de uma imagem multiespectral. Resultados evidenciam que tais técnicas se mostram promissoras para a solução do problema em questão. Para a identificação da presença de deformação, conseguimos uma precisão de 99,18% em imagens com deformações lineares e 99,25% para deformações não lineares. Além disso, a abordagem proposta alcançou uma precisão de 89,90% a 93,79% na tarefa de estimar o campo de deslocamento entre as bandas. De posse desse campo estimado pela rede, é possível realizar o registro entre as bandas sem a necessidade de marcação manual de pontos.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorDissertação (Mestrado)In recent decades, population growth and the demand for food have boosted the use of technological resources in what we call Precision Agriculture (PA). Among these technologies, the use of Unmanned Aerial Vehicles (UAVs) has stood out for assisting, enhancing, and optimizing agricultural production. The images captured by UAVs allow a detailed view of the analyzed region since the flight occurs at low and medium altitudes (50m to 400m). In addition, there is a wide variety of sensors (RGB cameras, heat capture sensors, multi and hyperspectral cameras, among others), each with its own characteristics and capable of producing different information. In the case of the acquisition of multi-spectral images, each channel of the image is acquired by a different sensor and at different times. Thus, due to the intrinsic characteristics of the UAV flight and the very nature of the acquisition, two main types of deformations between the bands of the same image are commonly observed, are (1) linear and (2) non-linear. Linear deformations consist, for example, of transformations of rotation, translation, and scale; non-linear ones, however, have varied characteristics and without a previously defined pattern. For the correct analysis of these images in the PA, it is necessary to identify and correct these deformations. Therefore, it is proposed to train deep neural networks for the tasks of (1) identification of the presence of deformations and (2) the prediction of vector deformation fields to perform the registration between bands of a multispectral image. Results show that such techniques are promising for the solution to the problem in question. For the identification of the presence of deformation, we achieved an accuracy of 99.18% in images with linear deformations and 99.25% for non-linear deformations. In addition, the proposed approach reached an accuracy of 89.90% to 93.79% in the task of estimating the displacement field between the bands. With this field estimated by the network, it is possible to register between the bands without the need for manual marking of points.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Ciência da ComputaçãoEscarpinati, Mauricio Cunhahttp://lattes.cnpq.br/5939941255055989Backes, André Ricardohttp://lattes.cnpq.br/8590140337571249Travençolo, Bruno Augusto Nassifhttp://lattes.cnpq.br/2590427557264952Casanova, Dalcimarhttp://lattes.cnpq.br/4155115530052195Silva, Leandro Henrique Furtado Pinto2021-05-17T13:12:04Z2021-05-17T13:12:04Z2021-05-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSILVA, Leandro Henrique Furtado Pinto. Detection and correction of deformations inUAVs’ images using deep learning. 2021. 86 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.di.2021.249.https://repositorio.ufu.br/handle/123456789/31755http://doi.org/10.14393/ufu.di.2021.249enginfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2021-05-18T06:19:31Zoai:repositorio.ufu.br:123456789/31755Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2021-05-18T06:19:31Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false
dc.title.none.fl_str_mv Detection and correction of deformations in UAVs’ images using deep learning
Detecção e correção de deformações em imagens de VANTs utilizando deep learning
title Detection and correction of deformations in UAVs’ images using deep learning
spellingShingle Detection and correction of deformations in UAVs’ images using deep learning
Silva, Leandro Henrique Furtado Pinto
Image Registration
Multispectral Image
Deep Learning
Precision Agriculture
UAV
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Detection and correction of deformations in UAVs’ images using deep learning
title_full Detection and correction of deformations in UAVs’ images using deep learning
title_fullStr Detection and correction of deformations in UAVs’ images using deep learning
title_full_unstemmed Detection and correction of deformations in UAVs’ images using deep learning
title_sort Detection and correction of deformations in UAVs’ images using deep learning
author Silva, Leandro Henrique Furtado Pinto
author_facet Silva, Leandro Henrique Furtado Pinto
author_role author
dc.contributor.none.fl_str_mv Escarpinati, Mauricio Cunha
http://lattes.cnpq.br/5939941255055989
Backes, André Ricardo
http://lattes.cnpq.br/8590140337571249
Travençolo, Bruno Augusto Nassif
http://lattes.cnpq.br/2590427557264952
Casanova, Dalcimar
http://lattes.cnpq.br/4155115530052195
dc.contributor.author.fl_str_mv Silva, Leandro Henrique Furtado Pinto
dc.subject.por.fl_str_mv Image Registration
Multispectral Image
Deep Learning
Precision Agriculture
UAV
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic Image Registration
Multispectral Image
Deep Learning
Precision Agriculture
UAV
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Nas últimas décadas, o crescimento populacional e a demanda por alimentos impulsionaram o uso de recursos tecnológicos no que chamamos de Agricultura de Precisão (AP). Dentre essas tecnologias, a utilização de Veículos Aéreos Não Tripulados (VANTs) tem-se destacado por auxiliar, potencializar e otimizar a produção agrícola. As imagens capturadas por VANTs permitem uma visão detalhada da região analisada, visto que o voo ocorre em altitudes baixas e médias (50m a 400m). Além disso, existe uma grande variedade de sensores (câmeras RGB, sensores de captura de calor, câmeras multi e hiperespectrais, entre outros), cada um com características próprias e capaz de produzir informações diferentes. No caso da aquisição de imagens multi espectrais, cada canal da imagem é adquirida por um sensor diferente e em momentos diferentes. Assim, muitas vezes, devido à características intríncecas ao voo do VANT e a própria natureza da aquisição, dois tipos principais de deformações entre as bandas de uma mesma imagem são comumente observadas, são elas: (1) lineares e (2) não lineares. As deformações lineares consistem, por exemplo, em transformações de rotação, translação e escala; já as não lineares possuem características variadas e sem um padrão previamente definido. Para a correta análise dessas imagens na AP, é necessário identificar e corrigir essas deformações. Diante disso, propõe-se o treinamento de redes neurais profundas para as tarefas de (1) identificação da presença da deformações e (2) a predição dos campos vetoriais de deformação para realizar o registro entre bandas de uma imagem multiespectral. Resultados evidenciam que tais técnicas se mostram promissoras para a solução do problema em questão. Para a identificação da presença de deformação, conseguimos uma precisão de 99,18% em imagens com deformações lineares e 99,25% para deformações não lineares. Além disso, a abordagem proposta alcançou uma precisão de 89,90% a 93,79% na tarefa de estimar o campo de deslocamento entre as bandas. De posse desse campo estimado pela rede, é possível realizar o registro entre as bandas sem a necessidade de marcação manual de pontos.
publishDate 2021
dc.date.none.fl_str_mv 2021-05-17T13:12:04Z
2021-05-17T13:12:04Z
2021-05-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SILVA, Leandro Henrique Furtado Pinto. Detection and correction of deformations inUAVs’ images using deep learning. 2021. 86 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.di.2021.249.
https://repositorio.ufu.br/handle/123456789/31755
http://doi.org/10.14393/ufu.di.2021.249
identifier_str_mv SILVA, Leandro Henrique Furtado Pinto. Detection and correction of deformations inUAVs’ images using deep learning. 2021. 86 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.di.2021.249.
url https://repositorio.ufu.br/handle/123456789/31755
http://doi.org/10.14393/ufu.di.2021.249
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFU
instname:Universidade Federal de Uberlândia (UFU)
instacron:UFU
instname_str Universidade Federal de Uberlândia (UFU)
instacron_str UFU
institution UFU
reponame_str Repositório Institucional da UFU
collection Repositório Institucional da UFU
repository.name.fl_str_mv Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)
repository.mail.fl_str_mv diinf@dirbi.ufu.br
_version_ 1813711335682211840