Estrutura a partir do Movimento em Sistemas Autónomos

Detalhes bibliográficos
Autor(a) principal: Junqueira, Artur Jorge Martins
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.22/5608
Resumo: Mestrado em Engenharia Electrotécnica e de Computadores - Ramo de Sistemas Autónomos
id RCAP_d929464d22225684b769dd4f58879e7c
oai_identifier_str oai:recipp.ipp.pt:10400.22/5608
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Estrutura a partir do Movimento em Sistemas AutónomosBundlerGeo-BundlerBundle AdjustmentReconstrução 3DSIFTSiftGPUSistemas Autónomos3D ReconstructionAutonomous SystemsMestrado em Engenharia Electrotécnica e de Computadores - Ramo de Sistemas AutónomosA estimação da estrutura do espaço e do movimento das câmaras, a partir de um conjunto de pontos correspondentes entre as imagens, é um tópico de pesquisa na comunidade da visão computacional, conhecido como Structure from Motion (SfM). Nesta dissertação pretende-se explorar uma ferramenta SfM e analisar o seu desempenho, tendo em consideração a sua aplicabilidade em sistemas autónomos. Para a análise são considerados dois cenários de aplicação: pós-processamento de imagens adquiridas durante operações robóticas (por exemplo para a criação de modelos tridimensionais) e aplicações em tempo real como a perceção do ambiente de operação. A ferramenta em estudo é o projeto Bundler de Noah Snavely. Este projeto estima os parâmetros das câmaras e os pontos 3D do ambiente, a partir de um conjunto de imagens e um lista de pontos de interesse, correspondentes entre as imagens. Na análise do Bundler pretende-se evidenciar os principais blocos que exigem maior esforço computacional, o matching de imagens e a estimação iterativa dos parâmetros das câmaras com base na diminuição do erro de reprojeção, através da biblioteca Sparse Bundle Adjustment (SBA). Para o processo de deteção e matching de pontos de interesse, efetuou-se a comparação entre a aplicação Scale Invariant Feature Transform (SIFT) e uma adaptação deste para a Graphics Processing Unit (GPU), o SiftGPU. Os resultados da comparação demonstraram uma melhoria signi cativa na utilização do SiftGPU, com uma placa gráfica Nvidia com Compute Uni ed Device Architecture (CUDA). Na exploração do Bundler para aplicações de pós-processamento, realizaram-se testes com diversos conjuntos de imagens e as nuvens de pontos geradas, permitem observar o modelo tridimensional dos objetos no espaço. Neste tipo de aplicações, a restrição do tempo de processamento não é uma condicionante tão grave como numa aplicação em tempo real. Então para tentar optimizar o desempenho do processo de estimação dos parâmetros das câmaras, apresentaram-se duas propostas. A primeira, considerando que se utiliza a mesma câmara e que esta tem uma distância focal fixa, consiste em efetuar uma calibração prévia dos parâmetros intrínsecos e fornecer ao Bundler, evitando assim a estimação de três parâmetros, e consequentemente redução do tempo de processamento do Bundle Adjustment (BA). A segunda proposta, implica a utilização de dados sensoriais de IMU/GPS para fornecer uma óptima inicialização dos parâmetros extrínsecos das câmaras. Com os parâmetros extrínsecos provenientes do IMU/GPS, em conjunto com os parâmetros intrínsecos de calibração, pretende-se reduzir o tempo de estimação dos parâmetros das câmaras no processo iterativo BA. Através da utilização destes dados, também se pretende evitar o desvio da estimação, devido à acumulação de erros ao longo do processo. Uma das vantagens da utilização do IMU/GPS, é facto de os resultados serem gerados em relação a um sistema de coordenadas, o que não acontece no Bundler, em que as posições são relativas e com ambiguidade na escala. Para adaptar o Bundler ao contexto de uma aplicação em tempo real, procedeu-se à alteração da abordagem atual, para enormes conjuntos desordenados de imagens, para um método sequencial e ordenado de acordo com o processo de aquisição de imagens. Este é apenas um dos primeiros passos para modificar o Bundler de acordo com as exigências das aplicações robóticas.The estimation of the structure and cameras movement, from a set of corresponding points between images, is a research topic in the computer vision community, known as Structure from Motion (SFM). This dissertation aims to explore a SfM tool and analyze its performance, taking into account their applicability in autonomous systems. Two application scenarios are considered for the analysis: post-processing of images acquired during robotic operations (for instance, the creation of three-dimensional models) and real-time applications, such as the perception of the operating environment. The tool in question is the Noah Snavely's Bundler project. This project estimates the parameters of the cameras and the 3D environment points, from a set of images, image features and image matches. With the analysis of Bundler it's intended to highlight the main blocks that require higher computational e ort, the image pairwise matching and the iterative estimation of the cameras' parameters based on the reduction of the reprojection error, through the library Sparse Bundle Adjustment (SBA). For the process of keypoint detection and matching, it was carried out a comparison between the Scale Invariant Feature Transform (SIFT) and an adaptation of this application for the Graphics Processing Unit (GPU), the SiftGPU. The comparison results showed a significant improvement in the use of SiftGPU, with an Nvidia graphics card with Compute Unified Device Architecture (CUDA). During the exploration of Bundler for post-processing applications, tests were conducted with different image sets and the point clouds generated allowed us to observe the three-dimensional model of the objects in space. In this kind of applications, the restriction of processing time is not a serious condition such as it is in a real-time application. When trying to optimize the estimation process performance of the cameras' parameters, two proposals were presented. The first one, considering that the same camera is used, and it has a fixed focal distance, consists in performing a prior calibration of the intrinsic parameters, and provide them to the Bundler, thereby preventing the estimation of three parameters, and thus reducing the processing time of the Bundle Adjustment (BA). The second proposal involves the use of sensory data from the IMU/GPS to provide an optimal initialization of the cameras' extrinsic parameters. The extrinsic parameters from the IMU/GPS, together with the intrinsic calibration parameters, are intended to reduce the estimation of the cameras' parameters during the BA iterative process. Through the use of this data, it's also intended to avoid the deviation of the estimation due to accumulation of errors along the process. One of the advantages of using the IMU/GPS, is that the results are generated relative to a coordinate system, which does not happen in Bundler, in which the positions are relative and ambiguous in scale. To adapt the Bundler to the context of a real-time application, the current approach was modified, from large unordered collections of images, to a sequential and ordered method, according with the process of image acquisition. This is just one of the first steps to modify Bundler in accordance with the requirements of robotic applications.Instituto Politécnico do Porto. Instituto Superior de Engenharia do Porto.Almeida, José MiguelRepositório Científico do Instituto Politécnico do PortoJunqueira, Artur Jorge Martins2015-02-09T17:26:40Z20142014-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.22/5608TID:201816067porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-03-13T12:45:43Zoai:recipp.ipp.pt:10400.22/5608Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T17:26:14.225098Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Estrutura a partir do Movimento em Sistemas Autónomos
title Estrutura a partir do Movimento em Sistemas Autónomos
spellingShingle Estrutura a partir do Movimento em Sistemas Autónomos
Junqueira, Artur Jorge Martins
Bundler
Geo-Bundler
Bundle Adjustment
Reconstrução 3D
SIFT
SiftGPU
Sistemas Autónomos
3D Reconstruction
Autonomous Systems
title_short Estrutura a partir do Movimento em Sistemas Autónomos
title_full Estrutura a partir do Movimento em Sistemas Autónomos
title_fullStr Estrutura a partir do Movimento em Sistemas Autónomos
title_full_unstemmed Estrutura a partir do Movimento em Sistemas Autónomos
title_sort Estrutura a partir do Movimento em Sistemas Autónomos
author Junqueira, Artur Jorge Martins
author_facet Junqueira, Artur Jorge Martins
author_role author
dc.contributor.none.fl_str_mv Almeida, José Miguel
Repositório Científico do Instituto Politécnico do Porto
dc.contributor.author.fl_str_mv Junqueira, Artur Jorge Martins
dc.subject.por.fl_str_mv Bundler
Geo-Bundler
Bundle Adjustment
Reconstrução 3D
SIFT
SiftGPU
Sistemas Autónomos
3D Reconstruction
Autonomous Systems
topic Bundler
Geo-Bundler
Bundle Adjustment
Reconstrução 3D
SIFT
SiftGPU
Sistemas Autónomos
3D Reconstruction
Autonomous Systems
description Mestrado em Engenharia Electrotécnica e de Computadores - Ramo de Sistemas Autónomos
publishDate 2014
dc.date.none.fl_str_mv 2014
2014-01-01T00:00:00Z
2015-02-09T17:26:40Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.22/5608
TID:201816067
url http://hdl.handle.net/10400.22/5608
identifier_str_mv TID:201816067
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Politécnico do Porto. Instituto Superior de Engenharia do Porto.
publisher.none.fl_str_mv Instituto Politécnico do Porto. Instituto Superior de Engenharia do Porto.
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799131356562718720

Registros relacionados