6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches

Detalhes bibliográficos
Autor(a) principal: Lourenço, Francisco Rodrigues
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/96141
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_8a37ba58c9dc6aeb00edc74e282494a5
oai_identifier_str oai:estudogeral.uc.pt:10316/96141
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning ApproachesEstimação da Pose de Objetos a partir de Imagens RGB-D Usando Aprendizagem AutomáticaEstimação da pose de objetosAproximação GeométricaVisão por ComputadorAprendizagem AutomáticaSensores RGB-D6DoF Object Pose Estimation3D Point Cloud RegistrationComputer VisionMachine LearningRGB-D SensorsDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaA estimativa da pose de objetos em imagens RGB-D, tem ganho bastante atenção na passada década com o aparecimento de sensores RGB-D ao nível do consumidor. O seu baixo custo acoplado com relevantes especificações técnicas, levaram à sua aplicação em áreas cientificas tais como condução autónoma, realidade aumentada e robótica.Em geral, a informação de profundidade trouxe complexidade adicional a grande parte das aplicações práticas onde se usavam apenas imagens RGB. Para além disso, quando se tenta estimar a pose de um objeto, há outros desafios tais como cenas com vários objetos, oclusão por parte dos mesmos, objetos simétricos, objetos sem textura e até falta de visibilidade devido a pouca iluminação. Tendo isto em conta, os investigadores começaram a adoptar técnicas de aprendizagem automática para resolver o problema da estimação da pose de objetos. O problema com esta abordagem é que, por norma, costuma ser computacionalmente intensiva e complexa de implementar. Para além disso, apenas recentemente a investigação se tem direcionado para vídeos RGB-D, com o primeiro dataset de referência contendo apenas vídeos a ser publicado em 2017. Portanto, apenas poucos e bastante recentes métodos foram desenvolvidos para funcionar com vídeos, tornando assim o funcionamento em tempo real numa questão ainda por resolver.Posto isto, esta tese tem como objectivo explorar todas as ferramentas necessárias para construir um estimador da pose, oferecer uma revisão compreensiva para cada uma destas ferramentas, comparar e avalia-las, estudar como estas podem ser implementadas, avaliar se a estimação da pose poderá ser ou não feita em tempo real e também como esta se generaliza para o mundo real. Em adição a isto, será proposto o uso de estatística direcional para o avaliação da repetibilidade de sensores RGB-D, um melhoramento na estrutura de um bastante conhecido estimador da pose, uma arquitetura que utiliza um algoritmo de aproximação geométrica bastante recente como auxílio ao estimador da pose, e ainda uma métrica que permite avaliar a repetibilidade tanto das poses estimadas como das poses fundamentais de um dataset.Object pose estimation using RGB-D images has gained increasing attention in the past decade with the emergence of consumer-level RGB-D sensors in the market. Their low-cost coupled with relevant technical specifications led to their application in areas such as autonomous driving, augmented reality, and robotics.Depth information has, in general, brought additional complexity to most applications that previously used only RGB images. Moreover, when trying to estimate an object pose, one may face challenges such as cluttered scenes, occlusion, symmetric objects, texture-less objects, and low visibility due to insufficient illumination. Accordingly, researchers started to adopt machine learning approaches to tackle the 6DoF of the object pose estimation problem. Such approaches are often quite complex to implement and computationally demanding. Furthermore, the research was only directed to RGB-D videos quite recently, with the first benchmark dataset containing videos being published only in 2017. Therefore, only very recent methods were designed to process videos, and some questions regarding real-time applicability arise.That being said, this thesis aims to explore all the tools required to build a 6DoF pose estimator, provide a comprehensive review on each tool, compare and evaluate them, assess how a practitioner can implement such tools, evaluate whether or not it is possible to estimate 6DoF poses in real-time, and also evaluate how these tools generalize to a real-world scenario. As a plus, it will be proposed the usage of directional statistics to evaluate an RGB-D sensor precision, a tweak to a famous 6DoF object pose estimation model, a pipeline that uses a novel 3D point cloud registration algorithm to aid the pose estimator, and a metric that can measure the precision/repeatability of both estimated poses of a model and the ground-truth poses of a dataset.2021-07-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/96141http://hdl.handle.net/10316/96141TID:202777600engLourenço, Francisco Rodriguesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T05:16:55Zoai:estudogeral.uc.pt:10316/96141Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:14:28.843382Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
Estimação da Pose de Objetos a partir de Imagens RGB-D Usando Aprendizagem Automática
title 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
spellingShingle 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
Lourenço, Francisco Rodrigues
Estimação da pose de objetos
Aproximação Geométrica
Visão por Computador
Aprendizagem Automática
Sensores RGB-D
6DoF Object Pose Estimation
3D Point Cloud Registration
Computer Vision
Machine Learning
RGB-D Sensors
title_short 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
title_full 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
title_fullStr 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
title_full_unstemmed 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
title_sort 6DoF Object Pose Estimation from RGB-D Images Using Machine Learning Approaches
author Lourenço, Francisco Rodrigues
author_facet Lourenço, Francisco Rodrigues
author_role author
dc.contributor.author.fl_str_mv Lourenço, Francisco Rodrigues
dc.subject.por.fl_str_mv Estimação da pose de objetos
Aproximação Geométrica
Visão por Computador
Aprendizagem Automática
Sensores RGB-D
6DoF Object Pose Estimation
3D Point Cloud Registration
Computer Vision
Machine Learning
RGB-D Sensors
topic Estimação da pose de objetos
Aproximação Geométrica
Visão por Computador
Aprendizagem Automática
Sensores RGB-D
6DoF Object Pose Estimation
3D Point Cloud Registration
Computer Vision
Machine Learning
RGB-D Sensors
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-07-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/96141
http://hdl.handle.net/10316/96141
TID:202777600
url http://hdl.handle.net/10316/96141
identifier_str_mv TID:202777600
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134042164035584

Registros relacionados