Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR

Detalhes bibliográficos
Autor(a) principal: Lopes, Dylan Ângelo
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/92585
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_96e566ad8f71d9f4264c9bed20d714d4
oai_identifier_str oai:estudogeral.uc.pt:10316/92585
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPRMulti to Single PPR: geração automática de dados PPR a partir de coleções de imagens para treino de PPR a partir de uma única imagem.Reconstrução 3D usando primitivas planarescompletamente automáticoPipelinePiece-wise planar 3D reconstructionfully-automaticpipelineDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaAutomatic dense 3D reconstructions has long been a challenge in computer vision, being fundamental for a wide variety of applications, e.g. robotics, object recognition, etc. However, developed algorithms have difficulties in handling poorly textured or specular surfaces slant, etc. To overcome these issues, many authors employ the planarity assumption, since most of these challenges occur in man-made environments which are predominantly composed by planar surfaces. The resulting models have a better accuracy and a lower complexity, which is important for real-time applications rendering. With the advances in deep learning (DL), recovering depth from a single image (SIDE) has become a major research topic in computer vision, achieving recently high performance indicator. Though, these algorithms still have important limitations in terms of accuracy and generalization. Very recently, DL based approaches were proposed for single-image piece-wise planar reconstruction (SI-PPR), requiring a single RGB image and the camera intrinsic parameters for computing a piece-wise planar segmentation and the respective planar equations. These algorithms improve over the performances obtained with the traditional approaches based in geometric reasoning, which usually require multiple-views. However, these approaches require large training datasets and the existing ones are relatively small. For this purpose, we aim to create a new pipeline for PPR data generation that is completely automatic, allowing to generate training data for SI-PPR in an unsupervised manner. The generated data was evaluated and experimentally compared with Ralho’s dataset Ralho, created with a semi-automatic pipeline that requires manual labeling of key frames. At last we re-trained a DL-based SI-PPR approach (PlaneRCNN) and evaluated its performance, proving that it is possible to obtain similar accuracy performance as approaches that require time-consuming manual labeling.A reconstrução densa 3D tem sido um grande desafio na área de visão por computador, tendo um papel fundamental numa grande variedade de aplicações, e.g. robótica, deteção de objetos, etc. No entanto, os algoritmos desenvolvidos têm algumas dificuldades em lidar com superficies com pouca textura, espelhadas, etc. Para ultrapassar estes problemas, muitos autores têm assumido a geometria planar, sendo que a maior parte destes desafios se encontram em ambientes construídos pelo ser humano, predominantemente compostos por superfícies planares. Os modelos resultantes têm uma maior precisão e são menos complexos, um aspecto importante para a renderização em aplicações de tempo real. Com os avanços em deep learning (DL), a estimativa de profundidade a partir de uma única imagem (SIDE) tem sido um tópico importante na investigação em visão por computador, atingindo mais recentemente, uma alta performance. Contudo, estes algorímtos ainda têm algumas limitações em termos de precisão e generalização. Foram propostas recentemente abordagens para a estimativa de reconstrução planar, a partir de uma única imagem (SI-PPR), sendo que a rede apenas necessita de uma única imagem RGB e dos parâmetros intrínsecos da câmara, processando a segmentação planar e as respetivas equações dos planos. Estes algorítmos superam as abordagens tradicionais baseadas em métodos geométricos que, geralmente necessitam de múltiplas frames. No entanto, estes algorítmos requerem muitos dados de treino, sendo que os mesmos ainda são bastante limitados. Posto isto, pretendemos criar um novo pipeline para geração de dados PPR de uma forma totalmente automática, possibilitando a geração de dados de treino de uma forma não supervisada. Os dados gerados foram analisados experimentalmente comparados com com o dataset do Ralho, criado com um algorítmo semi-automático que requer labeling manual de imagens-chave. Por último, treinámos um algorítmo baseado em DL para a estimativa de PPR a partir de uma única imagem e avaliámos a sua performance, comprovando que é possível obter uma precisão parecida com os resultados obtidos usando métodos que requerem labeling manual, sendo o mesmo demorado.2020-07-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/92585http://hdl.handle.net/10316/92585TID:202520188engLopes, Dylan Ângeloinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T04:32:09Zoai:estudogeral.uc.pt:10316/92585Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:11:39.026440Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
Multi to Single PPR: geração automática de dados PPR a partir de coleções de imagens para treino de PPR a partir de uma única imagem.
title Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
spellingShingle Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
Lopes, Dylan Ângelo
Reconstrução 3D usando primitivas planares
completamente automático
Pipeline
Piece-wise planar 3D reconstruction
fully-automatic
pipeline
title_short Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
title_full Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
title_fullStr Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
title_full_unstemmed Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
title_sort Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR
author Lopes, Dylan Ângelo
author_facet Lopes, Dylan Ângelo
author_role author
dc.contributor.author.fl_str_mv Lopes, Dylan Ângelo
dc.subject.por.fl_str_mv Reconstrução 3D usando primitivas planares
completamente automático
Pipeline
Piece-wise planar 3D reconstruction
fully-automatic
pipeline
topic Reconstrução 3D usando primitivas planares
completamente automático
Pipeline
Piece-wise planar 3D reconstruction
fully-automatic
pipeline
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-07-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/92585
http://hdl.handle.net/10316/92585
TID:202520188
url http://hdl.handle.net/10316/92585
identifier_str_mv TID:202520188
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134013474996224

Registros relacionados