Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information

Detalhes bibliográficos
Autor(a) principal: Dornelles, Thiago de Azevedo
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/211267
Resumo: Muitos dos desafios da visão computacional e da robótica envolvem o desenvolvimento de algoritmos capazes de usar informação espacial parcial para a geração de uma percepção 3D confiável do mundo. Várias tecnologias inovadoras aplicadas como Realidade Mista, Robótica Autônoma, Veículos Autônomos, Engenharia Reversa, Impressão 3D, entre outras, dependem desta área de pesquisa para seguirem evoluindo. Para implementar uma aplicação completa, que seja capaz de realizar reconstruções 3D para objetos individualmente, esta dissertação apresenta um pipeline de reconstrução 3D incremental e de estimativa de pose de câmera baseado em nuvens de pontos coloridas capturadas por câmeras RGB-D de uso doméstico. A abordagem proposta combina casamento geo- métrico e fotométrico de dados fornecidos pelos sensores de profundidade e cor através de um esquema adaptativo de ponderação que lida com eventuais desalinhamentos entre os dados RGB e de profundidade. Os resultados experimentais indicam que as recons- truções 3D obtidas com esquema proposto são visualmente melhores que a abordagem competidora.
id URGS_02002960ebd487b903164b72c682bfe2
oai_identifier_str oai:www.lume.ufrgs.br:10183/211267
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Dornelles, Thiago de AzevedoJung, Claudio Rosito2020-07-02T03:36:25Z2020http://hdl.handle.net/10183/211267001114954Muitos dos desafios da visão computacional e da robótica envolvem o desenvolvimento de algoritmos capazes de usar informação espacial parcial para a geração de uma percepção 3D confiável do mundo. Várias tecnologias inovadoras aplicadas como Realidade Mista, Robótica Autônoma, Veículos Autônomos, Engenharia Reversa, Impressão 3D, entre outras, dependem desta área de pesquisa para seguirem evoluindo. Para implementar uma aplicação completa, que seja capaz de realizar reconstruções 3D para objetos individualmente, esta dissertação apresenta um pipeline de reconstrução 3D incremental e de estimativa de pose de câmera baseado em nuvens de pontos coloridas capturadas por câmeras RGB-D de uso doméstico. A abordagem proposta combina casamento geo- métrico e fotométrico de dados fornecidos pelos sensores de profundidade e cor através de um esquema adaptativo de ponderação que lida com eventuais desalinhamentos entre os dados RGB e de profundidade. Os resultados experimentais indicam que as recons- truções 3D obtidas com esquema proposto são visualmente melhores que a abordagem competidora.Several challenges in computer vision and robotics involve developing algorithms capable of using partial spatial information to generate a reliable 3D perception of the world. Var- ious breakthrough applicable technologies such as Mixed Reality, Autonomous Robotics, Autonomous Driving, Reverse Engineering, 3D Printing, among others, depend on this research topic to move forward. In order to implement a complete application to build 3D reconstructions for individual objects, this master’s thesis presents an online pipeline for incremental 3D reconstruction and 6-DoF camera pose estimation based on colored point clouds captured by consumer RGB-D cameras. The proposed approach combines geometric and photometric matching of data provided by both depth and color sensors through an adaptive weighting scheme that copes with eventual misalignment errors be- tween RGB and depth data. Our experimental results indicate that the 3D reconstructions achieved by the proposed scheme are visually better than competitive approaches.application/pdfengVisão computacionalRobóticaReconstrução 3DVisual odometryRGB-D CamerasFrame-to-modelOnline frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D informationModelo online para reconstrução 3D usando informação RGB-D info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2020mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001114954.pdf.txt001114954.pdf.txtExtracted Texttext/plain106079http://www.lume.ufrgs.br/bitstream/10183/211267/2/001114954.pdf.txt5259f8e09cf4b7cd58b83fa8925e3571MD52ORIGINAL001114954.pdfTexto completo (inglês)application/pdf33160305http://www.lume.ufrgs.br/bitstream/10183/211267/1/001114954.pdfdb2f4b66a488442dbd1f094c2cc2232eMD5110183/2112672024-04-28 06:55:37.223497oai:www.lume.ufrgs.br:10183/211267Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532024-04-28T09:55:37Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
dc.title.alternative.pt.fl_str_mv Modelo online para reconstrução 3D usando informação RGB-D
title Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
spellingShingle Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
Dornelles, Thiago de Azevedo
Visão computacional
Robótica
Reconstrução 3D
Visual odometry
RGB-D Cameras
Frame-to-model
title_short Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
title_full Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
title_fullStr Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
title_full_unstemmed Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
title_sort Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information
author Dornelles, Thiago de Azevedo
author_facet Dornelles, Thiago de Azevedo
author_role author
dc.contributor.author.fl_str_mv Dornelles, Thiago de Azevedo
dc.contributor.advisor1.fl_str_mv Jung, Claudio Rosito
contributor_str_mv Jung, Claudio Rosito
dc.subject.por.fl_str_mv Visão computacional
Robótica
Reconstrução 3D
topic Visão computacional
Robótica
Reconstrução 3D
Visual odometry
RGB-D Cameras
Frame-to-model
dc.subject.eng.fl_str_mv Visual odometry
RGB-D Cameras
Frame-to-model
description Muitos dos desafios da visão computacional e da robótica envolvem o desenvolvimento de algoritmos capazes de usar informação espacial parcial para a geração de uma percepção 3D confiável do mundo. Várias tecnologias inovadoras aplicadas como Realidade Mista, Robótica Autônoma, Veículos Autônomos, Engenharia Reversa, Impressão 3D, entre outras, dependem desta área de pesquisa para seguirem evoluindo. Para implementar uma aplicação completa, que seja capaz de realizar reconstruções 3D para objetos individualmente, esta dissertação apresenta um pipeline de reconstrução 3D incremental e de estimativa de pose de câmera baseado em nuvens de pontos coloridas capturadas por câmeras RGB-D de uso doméstico. A abordagem proposta combina casamento geo- métrico e fotométrico de dados fornecidos pelos sensores de profundidade e cor através de um esquema adaptativo de ponderação que lida com eventuais desalinhamentos entre os dados RGB e de profundidade. Os resultados experimentais indicam que as recons- truções 3D obtidas com esquema proposto são visualmente melhores que a abordagem competidora.
publishDate 2020
dc.date.accessioned.fl_str_mv 2020-07-02T03:36:25Z
dc.date.issued.fl_str_mv 2020
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/211267
dc.identifier.nrb.pt_BR.fl_str_mv 001114954
url http://hdl.handle.net/10183/211267
identifier_str_mv 001114954
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/211267/2/001114954.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/211267/1/001114954.pdf
bitstream.checksum.fl_str_mv 5259f8e09cf4b7cd58b83fa8925e3571
db2f4b66a488442dbd1f094c2cc2232e
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085524755447808

Registros relacionados