Semantic Mapping with a Mobile Robot Using a RGB-D Camera

Detalhes bibliográficos
Autor(a) principal: Fernandes, João Carlos da Cunha Sanches
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/86699
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_94a7a70a5cf5201c497b2a49a128c025
oai_identifier_str oai:estudogeral.uc.pt:10316/86699
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Semantic Mapping with a Mobile Robot Using a RGB-D CameraMapeamento semântico com um robô móvel utilizando um sensor RGB-DMapeamento SemânticoDetecção de ObjectosReconhecimento de cenasROSRedes neuronais profundasSemantic MappingObject DetectionScene RecognitionROSDeep LearningDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaNowadays, the major focus in robotics is to make service robots ubiquitous in our daily lives to assist us in different activities, in public and domestic spaces. With this purpose, robots should understand their surroundings in a human-like manner. This requires that robots areable to categorize rooms, understand in which kind of context humans use those, and predict which objects can be found in each area category. By detecting and registering such spatial properties in more informative robotic maps – semantic maps –, service robots become more capable to perform useful tasks and assist humans. For instance, the generated semantic maps can be used to modulate the robot’s behavior when seeking a given type of object, e.g. given the common-sense knowledge that plates are usually found in a kitchen, the robot willsearch them firstly in places belonging to that category.Deep learning, i.e. deep neural networks, leveraged by the availability of large datasets and increasingly powerful GPUs, have attained unprecedented performance in object detection and scene recognition in images.The major focus of this M.Sc. dissertation was to study and develop a mobile robotic system endowed with the capability of building semantic maps, in this particular case, maps with object occurrences and place categories annotated, by combining classical methodologies used in the mobile robotics field with state-of-the-art deep learning techniques. Furthermore, object-places relationships were also studied and an ontology-based robotic object searching algorithm was developed.The developed semantic mapping framework was validated through experiments conducted over real-world data and, in those test scenarios, it showed its ability to successfully attain a fairly good representation of the object occurrences and place categories present inthe robot’s workspace. The ontology-based robotic object searching algorithm was evaluated in a set of simulated scenarios where it has proven that object-places relationships can enhance the performance of a service robot when asked for seeking a specific object.Atualmente o principal foco da Robótica é o de integrar robôs de serviço na sociedade e nas nossas vidas quotidianas, de forma a que estes nos possam ajudar nas mais diversas actividades. Com este propósito, um agente robótico deveria, idealmente, entender e lidar com o seu ambiente da mesma forma que um ser humano. Para tal é necessário que os robôs não só sejam capazes de categorizar divisões do espaço de trabalho e entendam em que tipo de contextos estas são utilizadas, mas que também prevejam ainda que tipo de objectos tendem a ser encontrados nessas divisões. Ao detectar e registar este tipo de conhecimentos em mapas robóticos mais informativos – mapas semânticos –, os robôs de serviço podem tornar-se mais eficazes e úteis num grande leque tarefas. Os mapas semânticos podem vir a ser utilizados, por exemplo, com o intuito de modelar o comportamento de um robô quando este é chamado a executar a tarefa de procurar um determinado tipo de objecto. Dado o "conhecimento" do robô, através do mapa semântico, de que pratos tendem a existir em cozinhas, o robô deverá procurar por estes em divisões pertencentes a esta categoria.A recente disponibilidade de datasets de grande dimensão, em cojunto com a existência de processadores gráficos (GPUs) cada vez mais poderosos, tem influenciado de forma positiva técnicas de aprendizagem máquina baseadas em redes neuronais profundas e estas tem alcançado níveis de desempenho sem precedentes na resolução de diversos problemas.O foco principal desta dissertação de mestrado foi estudar e desenvolver um sistema robótico móvel capaz de construir mapas semânticos, neste caso particular mapas com informações acerca de ocorrências de objectos e de categorias de divisões anotadas, combinando métodos clássicos utilizados na robótica móvel com métodos de aprendizagem máquina baseados em redes neuronais profundas. Foi ainda desenvolvido um algoritmo baseado em ontologias para tornar a procura de objectos por parte do robô mais rápida e eficaz.O sistema de mapeamento semântico desenvolvido foi validado e, nos cenários de teste realizados, demonstrou uma boa capacidade no registo de ocorrências de objectos e categorias de divisões nos mapas semânticos. O algoritmo de procura de objectos foi avaliado num conjunto de simulações a partir das quais foi possível demonstrar que os relacionamentos entre objectos e divisões podem melhorar significativamente o desempenho de um robô de serviço na execução da tarefa de procurar por um objecto específico.2019-02-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/86699http://hdl.handle.net/10316/86699TID:202222195engFernandes, João Carlos da Cunha Sanchesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T14:54:22Zoai:estudogeral.uc.pt:10316/86699Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:07:49.447361Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Semantic Mapping with a Mobile Robot Using a RGB-D Camera
Mapeamento semântico com um robô móvel utilizando um sensor RGB-D
title Semantic Mapping with a Mobile Robot Using a RGB-D Camera
spellingShingle Semantic Mapping with a Mobile Robot Using a RGB-D Camera
Fernandes, João Carlos da Cunha Sanches
Mapeamento Semântico
Detecção de Objectos
Reconhecimento de cenas
ROS
Redes neuronais profundas
Semantic Mapping
Object Detection
Scene Recognition
ROS
Deep Learning
title_short Semantic Mapping with a Mobile Robot Using a RGB-D Camera
title_full Semantic Mapping with a Mobile Robot Using a RGB-D Camera
title_fullStr Semantic Mapping with a Mobile Robot Using a RGB-D Camera
title_full_unstemmed Semantic Mapping with a Mobile Robot Using a RGB-D Camera
title_sort Semantic Mapping with a Mobile Robot Using a RGB-D Camera
author Fernandes, João Carlos da Cunha Sanches
author_facet Fernandes, João Carlos da Cunha Sanches
author_role author
dc.contributor.author.fl_str_mv Fernandes, João Carlos da Cunha Sanches
dc.subject.por.fl_str_mv Mapeamento Semântico
Detecção de Objectos
Reconhecimento de cenas
ROS
Redes neuronais profundas
Semantic Mapping
Object Detection
Scene Recognition
ROS
Deep Learning
topic Mapeamento Semântico
Detecção de Objectos
Reconhecimento de cenas
ROS
Redes neuronais profundas
Semantic Mapping
Object Detection
Scene Recognition
ROS
Deep Learning
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2019
dc.date.none.fl_str_mv 2019-02-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/86699
http://hdl.handle.net/10316/86699
TID:202222195
url http://hdl.handle.net/10316/86699
identifier_str_mv TID:202222195
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133969009082368

Registros relacionados