Object Segmentation and Classification from RGB-D Data

Detalhes bibliográficos
Autor(a) principal: Silva, João Gonçalo Pires Ferreira da
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/83024
Resumo: Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
id RCAP_7f3190d9880d38d9c70ac4cd87ce9962
oai_identifier_str oai:estudogeral.uc.pt:10316/83024
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Object Segmentation and Classification from RGB-D DataSegmentação e Classificação de Objetos a partir de Dados RGB-DAprendizagem automáticaCaracterísticasClassificação de objetosMicrosoft KinectRedes neuronaisMachine learningFeaturesObject classificationMicrosoft KinectNeural networksDissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e TecnologiaA classificação de objetos é um fator chave no desenvolvimento de robôs autónomos. A classificação de objetos pode ser grandemente melhorada com uma anterior segmentação e extração de características confiáveis. Com isso em mente, o principal objetivo desta dissertação é implementar um algoritmo de classificação de objetos, capaz de classificar objetos do conjunto de objetos e modelos de Yale-CMU-Berkeley (YCB), através do uso de um novo método de extração de características não supervisionado a partir de dados de vermelho, verde, azul e profundidade (RGB-D) e de redes neuronais artificiais do tipo feedforward (FFANNs). No método aqui apresentado, após a aquisição de dados a partir de uma câmara RGB-D, o ruído é removido e os objetos na cena são isolados. Para cada objeto isolado, agrupamento k-means é aplicado para extrair uma cor global e três cores principais. Três pontuações são calculadas com base no encaixe de formas primitivas (cilindro, esfera ou prisma retangular). As dimensões do objeto e volume são estimados calculando o volume da melhor forma primitiva ajustada anteriormente. De seguida, com essas características, FFANNs são treinadas e usadas para classificar esses objetos. Testes experimentais foram realizados em 20 objetos, do conjunto de objetos e modelos de YCB e os resultados indicam que este algoritmo tem uma precisão de reconhecimento de 96%, com cinco objetos no espaço de trabalho ao mesmo tempo e em poses aleatórias. Também é desenvolvido, um método de cálculo da localização de um objeto, com base na localização do centro geométrico, da melhor forma primitiva ajustada anteriormente.Object classification is a key factor in the development of autonomous robots. Object classification can be greatly improved with previous reliable segmentation and feature extraction. With this in mind, the main objective of this dissertation is to implement an object classification algorithm, capable of classifying objects from the Yale-CMU-Berkeley (YCB) object and model set, through the use of a novel unsupervised feature extraction method from red, green, blue and depth (RGB-D) data and feedforward artificial neural networks (FFANNs). In the method presented here, after the acquisition of data from an RGB-D camera, noise is removed and the objects in the scene are isolated. For each isolated object, k-means clustering is applied to extract a global main colour and three main colours. Three scores are computed based on the fitting of primitive shapes (cylinder, sphere or rectangular prism). Object dimensions and volume are estimated by calculating the volume of the best primitive shape previously fitted. Then with these features, FFANNs are trained and used to classify these objects. Experimental tests were carried out in 20 objects, from the YCB object and model set and results indicate that this algorithm has a recognition accuracy of 96%, with five objects in the workspace at the same time and in random poses. Also, a method of calculating the location of an object, based on the location of the geometric centre, of the best primitive shape previously fitted is developed.2017-07-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/83024http://hdl.handle.net/10316/83024TID:202123464engSilva, João Gonçalo Pires Ferreira dainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-02-03T11:53:07Zoai:estudogeral.uc.pt:10316/83024Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:04:51.234440Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Object Segmentation and Classification from RGB-D Data
Segmentação e Classificação de Objetos a partir de Dados RGB-D
title Object Segmentation and Classification from RGB-D Data
spellingShingle Object Segmentation and Classification from RGB-D Data
Silva, João Gonçalo Pires Ferreira da
Aprendizagem automática
Características
Classificação de objetos
Microsoft Kinect
Redes neuronais
Machine learning
Features
Object classification
Microsoft Kinect
Neural networks
title_short Object Segmentation and Classification from RGB-D Data
title_full Object Segmentation and Classification from RGB-D Data
title_fullStr Object Segmentation and Classification from RGB-D Data
title_full_unstemmed Object Segmentation and Classification from RGB-D Data
title_sort Object Segmentation and Classification from RGB-D Data
author Silva, João Gonçalo Pires Ferreira da
author_facet Silva, João Gonçalo Pires Ferreira da
author_role author
dc.contributor.author.fl_str_mv Silva, João Gonçalo Pires Ferreira da
dc.subject.por.fl_str_mv Aprendizagem automática
Características
Classificação de objetos
Microsoft Kinect
Redes neuronais
Machine learning
Features
Object classification
Microsoft Kinect
Neural networks
topic Aprendizagem automática
Características
Classificação de objetos
Microsoft Kinect
Redes neuronais
Machine learning
Features
Object classification
Microsoft Kinect
Neural networks
description Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
publishDate 2017
dc.date.none.fl_str_mv 2017-07-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/83024
http://hdl.handle.net/10316/83024
TID:202123464
url http://hdl.handle.net/10316/83024
identifier_str_mv TID:202123464
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133940482572288

Registros relacionados