Geração de mapas de profundidade utilizando redes neurais convolucionais

Detalhes bibliográficos
Autor(a) principal: Masson, Juliano Emir Nunes
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/226858
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.
id UFSC_209834e8c286ee6d505c357abedf12d4
oai_identifier_str oai:repositorio.ufsc.br:123456789/226858
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Universidade Federal de Santa CatarinaMasson, Juliano Emir NunesCoutinho, Daniel FerreiraPetry, Marcelo Roberto2021-08-23T14:04:06Z2021-08-23T14:04:06Z2021371684https://repositorio.ufsc.br/handle/123456789/226858Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.A fotogrametria é um problema clássico de visão computacional e consiste na extração de informação tridimensional a partir de imagens. Ela pode ser descrita de maneira simplificada como sendo o processo de gerar um modelo 3D, de alguma cena capturada por duas ou mais imagens, de diferentes pontos de vista. A possibilidade de extrair a geometria de uma cena através de imagens permite uma vasta gama de aplicações, como a criação de ambientes virtuais para a simulação de robôs autônomos, a virtualização de ambientes reais para venda de imóveis, análise de deformação de superfícies, cálculo do deslocamento de barragens, monitoramento de erosões, planejamento e inspeção de construções, etc. Mesmo com o uso massivo de redes neurais em problemas clássicos de visão computacional mostrando um grande avanço quando comparados aos algoritmos tradicionais (principalmente em tarefas de reconhecimento de objetos), os principais softwares comerciais e bibliotecas de fotogrametria utilizados para as aplicações citadas anteriormente ainda não fazem uso de redes neurais. A partir dessa constatação, esse trabalho tem como objetivo estudar metodologias de geração de mapas de profundidade a partir de imagens de câmeras calibradas (matriz intrínseca e extrínseca conhecidas) utilizando redes neurais convolucionais. Para alcançar o objetivo foi feita uma revisão sistemática dos trabalhos da área, e com base nas estruturas das redes encontradas, foram propostas algumas modificações na rede CasMVSNet. Como a base da fotogrametria é encontrar correspondências entre as imagens, as modificações propostas focaram na etapa de extração de features, trocando as convoluções por convoluções deformáveis e deformáveis moduladas, permitindo uma maior adaptação da rede aos dados de entrada. Para os experimentos foram escolhidos três datasets, o DTU, Tanks and Temples e o BlendedMVS. Para o treinamento foram utilizados o DTU e o BlendedMVS, e para a avaliação quantitativa dos resultados o DTU e o Tanks and Temples. Dentre as modificações propostas, a dconv_todas treinada com o dataset DTU teve uma redução de 22% no consumo de memória gráfica, melhora na completude e na média do resultado quantitativo do DTU e uma pontuação média maior no Thanks and Temples, com uma penalidade de apenas 3.75% no tempo de processamento, em comparação a rede CasMVSNet original.Abstract: Photogrammetry is a classic computer vision problem and consists of extracting three-dimensional information from images. It can be simply described as the process of generating a 3D model of a scene captured by two or more images from different points of view. The possibility of extracting the geometry of a scene through images enables a wide range of applications, such as the creation of virtual environments for the simulation of autonomous robots, the virtualization of real environments for real estate sales, surface deformation analysis, calculation of dam displacement, erosion monitoring, planning and inspection of construction sites, etc. Even with the massive use of neural networks in classical computer vision problems showing a great advance when compared to traditional algorithms (especially in object recognition tasks), the main commercial softwares and photogrammetry libraries used for the aforementioned applications still do not make use of neural networks. Based on this finding, this work aims to study methodologies for generating depth maps from calibrated camera images (known intrinsic and extrinsic matrix) using convolutional neural networks. To achieve the goal, a systematic review of the works in the area was performed, and based on the structures of the networks found, some modifications to the CasMVSNet network were proposed. As the basis of photogrammetry is to find correspondences between images, the proposed modifications focused on the feature extraction step, changing the convolutions for deformable and modulated deformable convolutions, allowing a better adaptation of the network to the input data. For the experiments three datasets were chosen, the DTU, Tanks and Temples, and BlendedMVS. For training, DTU and BlendedMVS were used, and for quantitative evaluation of the results, DTU and Tanks and Temples were used. Among the proposed modifications, dconv_todas trained with the DTU dataset had a 22% reduction in graphics memory consumption, improved completeness and average quantitative DTU results, and a higher average score on Thanks and Temples, with a penalty of only 3.75% in processing time compared to the original CasMVSNet network.97 p.| il., gráfs., tabs.porEngenharia de sistemasAutomaçãoFotogrametriaRedes neurais (Computação)Geração de mapas de profundidade utilizando redes neurais convolucionaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPEAS0368-D.pdfPEAS0368-D.pdfapplication/pdf21075827https://repositorio.ufsc.br/bitstream/123456789/226858/1/PEAS0368-D.pdfa49603c58152e66ccd898f09c40c59a7MD51123456789/2268582021-08-23 11:04:06.54oai:repositorio.ufsc.br:123456789/226858Repositório de PublicaçõesPUBhttp://150.162.242.35/oai/requestopendoar:23732021-08-23T14:04:06Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Geração de mapas de profundidade utilizando redes neurais convolucionais
title Geração de mapas de profundidade utilizando redes neurais convolucionais
spellingShingle Geração de mapas de profundidade utilizando redes neurais convolucionais
Masson, Juliano Emir Nunes
Engenharia de sistemas
Automação
Fotogrametria
Redes neurais (Computação)
title_short Geração de mapas de profundidade utilizando redes neurais convolucionais
title_full Geração de mapas de profundidade utilizando redes neurais convolucionais
title_fullStr Geração de mapas de profundidade utilizando redes neurais convolucionais
title_full_unstemmed Geração de mapas de profundidade utilizando redes neurais convolucionais
title_sort Geração de mapas de profundidade utilizando redes neurais convolucionais
author Masson, Juliano Emir Nunes
author_facet Masson, Juliano Emir Nunes
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Masson, Juliano Emir Nunes
dc.contributor.advisor1.fl_str_mv Coutinho, Daniel Ferreira
dc.contributor.advisor-co1.fl_str_mv Petry, Marcelo Roberto
contributor_str_mv Coutinho, Daniel Ferreira
Petry, Marcelo Roberto
dc.subject.classification.none.fl_str_mv Engenharia de sistemas
Automação
Fotogrametria
Redes neurais (Computação)
topic Engenharia de sistemas
Automação
Fotogrametria
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-08-23T14:04:06Z
dc.date.available.fl_str_mv 2021-08-23T14:04:06Z
dc.date.issued.fl_str_mv 2021
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/226858
dc.identifier.other.none.fl_str_mv 371684
identifier_str_mv 371684
url https://repositorio.ufsc.br/handle/123456789/226858
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 97 p.| il., gráfs., tabs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/226858/1/PEAS0368-D.pdf
bitstream.checksum.fl_str_mv a49603c58152e66ccd898f09c40c59a7
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1766805372311437312

Registros relacionados