Exploiting organisational semantic information in indoor environments for the object search problem

Detalhes bibliográficos
Autor(a) principal: Mantelli, Mathias Fassini
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/241779
Resumo: Atualmente, a comunidade científica de robótica móvel está lidando com diferentes tarefas de alto-nível que requerem que o robô manipule ou interaja com objetos que podem não estar no campo de visão do robô. Para encontrar um objeto em um ambiente desconhecido, o robô precisa procurar por ele enquanto ganha informação sobre o ambiente e toma decisões em tempo real, conhecido como o problema de busca por objetos (BPO). A comunidade de pesquisa propôs diferentes soluções para abordar o problema de BPO, se baseando na cor, tamanho ou no que existe ao redor dos objetos. Contudo, todas es sas informações geométricas (como por exemplo cor ou tamanho) limita a percepção do robô e, por consequência, o seu desempenho durante a busca. Portanto, nós propomos dois sistemas de BPO que exploraram as vantagens de informações semânticas inferidas a partir da organização tanto do ambiente quanto dos objetos presentes. O primeiro se baseia em informações semânticas inferidas de números em placas de texto encontrados no ambiente. O objetivo é encontrar a placa de texto da porta alvo. O uso da informação semântica organizacional neste cenário permite que o robô reduza os custos da busca por evitar corredores não promissores para conter a placa de texto da porta alvo. Os números detectados são usados para estimar se busca continua em direção a regiões desconhecidas ou se realiza a busca cuidadosamente em regiões já conhecidas. O segundo sistema de BPO é baseado nas mudanças na organização e arranjo dos objetos ao longo do tempo no ambiente. Nosso sistema observa o ambiente e coleta dados do posicionamento dos objetos ao longo do tempo executando o seu modo de gravação. Os dados gravados são usados posteriormente quando o robô executa o modo de requisição para buscar pelo ob jeto. Ambos os sistemas foram avaliados em diferentes ambientes e comparados contra outros sistemas de BPO em simulação e ambiente real. Apesar dos nossos sistemas não dependerem de um sistema de SLAM ou algoritmo para detecção de objectos específicos, nós usamos o Gmapping e o YOLO nos nossos experimentos, respectivamente. Os resultados dos nossos experimentos confirmam a eficiência dos nossos sistemas e demonstram a melhora no desempenho da busca com o auxílio das informações semânticas organizacional.
id URGS_5df8ef2527301ab12eb796af5345742e
oai_identifier_str oai:www.lume.ufrgs.br:10183/241779
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Mantelli, Mathias FassiniKolberg, Mariana LuderitzMaffei, Renan de Queiroz2022-07-05T05:08:24Z2022http://hdl.handle.net/10183/241779001144326Atualmente, a comunidade científica de robótica móvel está lidando com diferentes tarefas de alto-nível que requerem que o robô manipule ou interaja com objetos que podem não estar no campo de visão do robô. Para encontrar um objeto em um ambiente desconhecido, o robô precisa procurar por ele enquanto ganha informação sobre o ambiente e toma decisões em tempo real, conhecido como o problema de busca por objetos (BPO). A comunidade de pesquisa propôs diferentes soluções para abordar o problema de BPO, se baseando na cor, tamanho ou no que existe ao redor dos objetos. Contudo, todas es sas informações geométricas (como por exemplo cor ou tamanho) limita a percepção do robô e, por consequência, o seu desempenho durante a busca. Portanto, nós propomos dois sistemas de BPO que exploraram as vantagens de informações semânticas inferidas a partir da organização tanto do ambiente quanto dos objetos presentes. O primeiro se baseia em informações semânticas inferidas de números em placas de texto encontrados no ambiente. O objetivo é encontrar a placa de texto da porta alvo. O uso da informação semântica organizacional neste cenário permite que o robô reduza os custos da busca por evitar corredores não promissores para conter a placa de texto da porta alvo. Os números detectados são usados para estimar se busca continua em direção a regiões desconhecidas ou se realiza a busca cuidadosamente em regiões já conhecidas. O segundo sistema de BPO é baseado nas mudanças na organização e arranjo dos objetos ao longo do tempo no ambiente. Nosso sistema observa o ambiente e coleta dados do posicionamento dos objetos ao longo do tempo executando o seu modo de gravação. Os dados gravados são usados posteriormente quando o robô executa o modo de requisição para buscar pelo ob jeto. Ambos os sistemas foram avaliados em diferentes ambientes e comparados contra outros sistemas de BPO em simulação e ambiente real. Apesar dos nossos sistemas não dependerem de um sistema de SLAM ou algoritmo para detecção de objectos específicos, nós usamos o Gmapping e o YOLO nos nossos experimentos, respectivamente. Os resultados dos nossos experimentos confirmam a eficiência dos nossos sistemas e demonstram a melhora no desempenho da busca com o auxílio das informações semânticas organizacional.Nowadays, the mobile robotics research community deals with different high-level tasks that require the robot to manipulate or interact with objects that may not be in the robot’s field of view. To find an object in unknown environments, the robot needs to look for it while gaining information about the environment and making decisions in real-time, known as the object search (OS) problem. The research community has proposed dif ferent approaches for dealing with the OS problem, relying on the objects’ color or 3D shape as visual cues to guide the search. However, this geometric information (i.e., color or size) limits the robot’s perception and, consequently, the robot’s performance during the search. Therefore, we propose two OS systems that exploit the advantages of seman tic information inferred from the organisation of both the environment and objects. The first one relies on semantic information inferred from numbers in text signs found in the environment. The goal is to find a target door label. The use of organisational semantic information in this scenario allows the robot to reduce the search costs by avoiding not promising corridors to contain the target door label. The detected numbers are used to estimate either the search continues towards unknown parts of the environment, or care fully search in the already known parts. The second proposed OS system is based on the changes in the organisation and arrangement of objects over time in the environment. It observes the environment and gathers data from the objects’ placement through the time by executing its recording mode. This recorded data is later used when the robot exe cutes the requesting mode to search for the target object. Both systems were evaluated in different environments and compared against other OS approaches in simulated and real scenarios. Even though our systems do not depend on specific SLAM systems and object detection algorithms, we have used Gmapping and YOLO in our experiments, respec tively. The results of the experiments support our systems’ efficiency and demonstrate the improvement in the searching performance with the aid of organisational semantic information.application/pdfengRobóticaRobo móvelMobile roboticsObject searchOrganisational semantic informationRobo tics perceptionExploiting organisational semantic information in indoor environments for the object search problemExplorando informações semânticas em ambientes internos info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2022doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001144326.pdf.txt001144326.pdf.txtExtracted Texttext/plain307980http://www.lume.ufrgs.br/bitstream/10183/241779/2/001144326.pdf.txt31505ab8b5b89303cc2860c148699b83MD52ORIGINAL001144326.pdfTexto completo (inglês)application/pdf21364441http://www.lume.ufrgs.br/bitstream/10183/241779/1/001144326.pdf6b837a1f42a799f334dcaea510713ebbMD5110183/2417792022-07-06 04:58:36.914564oai:www.lume.ufrgs.br:10183/241779Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532022-07-06T07:58:36Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Exploiting organisational semantic information in indoor environments for the object search problem
dc.title.alternative.pt.fl_str_mv Explorando informações semânticas em ambientes internos
title Exploiting organisational semantic information in indoor environments for the object search problem
spellingShingle Exploiting organisational semantic information in indoor environments for the object search problem
Mantelli, Mathias Fassini
Robótica
Robo móvel
Mobile robotics
Object search
Organisational semantic information
Robo tics perception
title_short Exploiting organisational semantic information in indoor environments for the object search problem
title_full Exploiting organisational semantic information in indoor environments for the object search problem
title_fullStr Exploiting organisational semantic information in indoor environments for the object search problem
title_full_unstemmed Exploiting organisational semantic information in indoor environments for the object search problem
title_sort Exploiting organisational semantic information in indoor environments for the object search problem
author Mantelli, Mathias Fassini
author_facet Mantelli, Mathias Fassini
author_role author
dc.contributor.author.fl_str_mv Mantelli, Mathias Fassini
dc.contributor.advisor1.fl_str_mv Kolberg, Mariana Luderitz
dc.contributor.advisor-co1.fl_str_mv Maffei, Renan de Queiroz
contributor_str_mv Kolberg, Mariana Luderitz
Maffei, Renan de Queiroz
dc.subject.por.fl_str_mv Robótica
Robo móvel
topic Robótica
Robo móvel
Mobile robotics
Object search
Organisational semantic information
Robo tics perception
dc.subject.eng.fl_str_mv Mobile robotics
Object search
Organisational semantic information
Robo tics perception
description Atualmente, a comunidade científica de robótica móvel está lidando com diferentes tarefas de alto-nível que requerem que o robô manipule ou interaja com objetos que podem não estar no campo de visão do robô. Para encontrar um objeto em um ambiente desconhecido, o robô precisa procurar por ele enquanto ganha informação sobre o ambiente e toma decisões em tempo real, conhecido como o problema de busca por objetos (BPO). A comunidade de pesquisa propôs diferentes soluções para abordar o problema de BPO, se baseando na cor, tamanho ou no que existe ao redor dos objetos. Contudo, todas es sas informações geométricas (como por exemplo cor ou tamanho) limita a percepção do robô e, por consequência, o seu desempenho durante a busca. Portanto, nós propomos dois sistemas de BPO que exploraram as vantagens de informações semânticas inferidas a partir da organização tanto do ambiente quanto dos objetos presentes. O primeiro se baseia em informações semânticas inferidas de números em placas de texto encontrados no ambiente. O objetivo é encontrar a placa de texto da porta alvo. O uso da informação semântica organizacional neste cenário permite que o robô reduza os custos da busca por evitar corredores não promissores para conter a placa de texto da porta alvo. Os números detectados são usados para estimar se busca continua em direção a regiões desconhecidas ou se realiza a busca cuidadosamente em regiões já conhecidas. O segundo sistema de BPO é baseado nas mudanças na organização e arranjo dos objetos ao longo do tempo no ambiente. Nosso sistema observa o ambiente e coleta dados do posicionamento dos objetos ao longo do tempo executando o seu modo de gravação. Os dados gravados são usados posteriormente quando o robô executa o modo de requisição para buscar pelo ob jeto. Ambos os sistemas foram avaliados em diferentes ambientes e comparados contra outros sistemas de BPO em simulação e ambiente real. Apesar dos nossos sistemas não dependerem de um sistema de SLAM ou algoritmo para detecção de objectos específicos, nós usamos o Gmapping e o YOLO nos nossos experimentos, respectivamente. Os resultados dos nossos experimentos confirmam a eficiência dos nossos sistemas e demonstram a melhora no desempenho da busca com o auxílio das informações semânticas organizacional.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-07-05T05:08:24Z
dc.date.issued.fl_str_mv 2022
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/241779
dc.identifier.nrb.pt_BR.fl_str_mv 001144326
url http://hdl.handle.net/10183/241779
identifier_str_mv 001144326
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/241779/2/001144326.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/241779/1/001144326.pdf
bitstream.checksum.fl_str_mv 31505ab8b5b89303cc2860c148699b83
6b837a1f42a799f334dcaea510713ebb
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085587840925696