Learning Single-View Plane Prediction from autonomous driving datasets

Detalhes bibliográficos
Autor(a) principal: Ralho, João Pedro Loureiro
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/87852
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_2121d8324d88dd622970c8512b00329e
oai_identifier_str oai:estudogeral.uc.pt:10316/87852
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Learning Single-View Plane Prediction from autonomous driving datasetsLearning Single-View Plane Prediction from autonomous driving datasetsDeep LearningSingle Image Depth EstimationPiece-wise Planar ReconstructionSingle Image Piece-wise Planar ReconstructionMulti-view 3D reconstructionDeep LearningPiece-wise Planar ReconstructionSingle Image Piece-wise Planar ReconstructionMulti-view 3D reconstructionSingle Image Depth EstimationDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaA reconstrução 3D tradicional usando múltiplas imagens apresenta algumas dificuldades em cenas com pouca ou repetida textura, superfícies inclinadas, iluminação variada e especularidades. Este problema foi resolvido através de geometria planar (PPR), bastante frequente em estruturas construidas pelo ser humano. As primitivas planares são usadas para obter uma reconstrução mais precisa, geometricamente simples, e visualmente mais apelativa que uma núvem de pontos. Estimação de profundidade através de uma única imagem (SIDE) é uma ideia bastante apelativa que recentemente ganhou novo destaque devido à emergência de métodos de aprendizagem e de novas formas de gerar grandes conjuntos de dados RGB-D precisos. No fundo, esta dissertação pretende extender o trabalho desenvolvido em SIDE para reconstrução 3D usando primitivas planares através de uma única imagem (SI-PPR). Os métodos existentes apresentam alguma dificuldade em gerar bons resultados porque não existem grandes coleções de dados PPR precisos de cenas reais. Como tal, o objetivo desta dissertação é propor um pipeline para gerar de forma eficiente grandes coleções de dados PPR para retreinar métodos de estimação PPR. O pipeline é composto por três partes, uma responsável por gerar informação sobre a profundidade numa imagem através do colmap, segmentação manual dos planos verificados na imagem, e uma propagação automática da segmentação realizada e dos parâmetros dos planos para as imagens vizinhas usando uma nova estratégia com base em restrições geométricas e amostragem aleatória. O pipeline criado é capaz de gerar dados PPR com eficiência e precisão a partir de imagens reais.Traditional 3D reconstruction using multiple images have some difficulties in dealing with scenes with little or repeated texture, slanted surfaces, variable illumination, and specularities. This problem was solved using planarity prior (PPR), which is quite common in man-made environments. Planar primitives are used for a more accurate, geometrically simple, and visually appealing reconstruction than a cloud of points. Single image depth estimation (SIDE) is a very appealing idea that has recently gained new prominence due to the emergence of learning methods and new ways to generate large accurate RGB-D datasets. This dissertation intends to extend the work developed in SIDE and work on single image piece-wise planar reconstruction (SI-PPR). Existing methods struggle in outputting accurate planar information from images because there are no large collections of accurate PPR data from real imagery. Therefore, this dissertation aims to propose a pipeline to efficiently generate large PPR datasets to re-train PPR estimation approaches. The pipeline is composed by three main stages, depth data generation using colmap, manual labeling of a small percentage of the images of the dataset, and automatic label and plane propagation to neighbouring views using a new strategy based on geometric constraints and random sampling. The pipeline created is able to efficiently and accurately generate PPR data from real images. -------------------------------------------------------------------2019-09-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/87852http://hdl.handle.net/10316/87852TID:202306283engRalho, João Pedro Loureiroinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2021-05-24T09:19:36Zoai:estudogeral.uc.pt:10316/87852Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:08:41.036781Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Learning Single-View Plane Prediction from autonomous driving datasets
Learning Single-View Plane Prediction from autonomous driving datasets
title Learning Single-View Plane Prediction from autonomous driving datasets
spellingShingle Learning Single-View Plane Prediction from autonomous driving datasets
Ralho, João Pedro Loureiro
Deep Learning
Single Image Depth Estimation
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Deep Learning
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Single Image Depth Estimation
title_short Learning Single-View Plane Prediction from autonomous driving datasets
title_full Learning Single-View Plane Prediction from autonomous driving datasets
title_fullStr Learning Single-View Plane Prediction from autonomous driving datasets
title_full_unstemmed Learning Single-View Plane Prediction from autonomous driving datasets
title_sort Learning Single-View Plane Prediction from autonomous driving datasets
author Ralho, João Pedro Loureiro
author_facet Ralho, João Pedro Loureiro
author_role author
dc.contributor.author.fl_str_mv Ralho, João Pedro Loureiro
dc.subject.por.fl_str_mv Deep Learning
Single Image Depth Estimation
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Deep Learning
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Single Image Depth Estimation
topic Deep Learning
Single Image Depth Estimation
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Deep Learning
Piece-wise Planar Reconstruction
Single Image Piece-wise Planar Reconstruction
Multi-view 3D reconstruction
Single Image Depth Estimation
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2019
dc.date.none.fl_str_mv 2019-09-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/87852
http://hdl.handle.net/10316/87852
TID:202306283
url http://hdl.handle.net/10316/87852
identifier_str_mv TID:202306283
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133980194242560

Registros relacionados