[en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS

Detalhes bibliográficos
Autor(a) principal: JOAO CARLOS VIRGOLINO SOARES
Data de Publicação: 2022
Tipo de documento: Outros
Idioma: eng
Título da fonte: Repositório Institucional da PUC-RIO (Projeto Maxwell)
Texto Completo: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@2
http://doi.org/10.17771/PUCRio.acad.59878
Resumo: [pt] Robôs móveis são cada dia mais importantes na sociedade moderna, realizando tarefas consideradas tediosas ou muito repetitivas para humanos, como limpeza ou patrulhamento. A maioria dessas tarefas requer um certo nível de autonomia do robô. Para que o robô seja considerado autônomo, ele precisa de um mapa do ambiente, e de sua posição e orientação nesse mapa. O problema de localização e mapeamento simultâneos (SLAM) é a tarefa de estimar tanto o mapa quanto a posição e orientação simultaneamente, usando somente informações dos sensores, sem ajuda externa. O problema de SLAM visual consiste na tarefa de realizar SLAM usando somente câmeras para o sensoriamento. A maior vantagem de usar câmeras é a possibilidade de resolver problemas de visão computacional que provêm informações de alto nível sobre a cena, como detecção de objetos. Porém a maioria dos sistemas de SLAM visual assume um ambiente estático, o que impõe limitações para a sua aplicabilidade em cenários reais. Esta tese apresenta soluções para o problema de SLAM visual em ambientes dinâmicos e em mudança. Especificamente, a tese propõe um método para ambientes com multidões, junto com um detector de pessoas customizado baseado em aprendizado profundo. Além disso, também é proposto um método de SLAM visual para ambientes altamente dinâmicos contendo objetos em movimento, combinando um rastreador de objetos robusto com um algoritmo de filtragem de pontos. Além disso, esta tese propõe um método de SLAM visual para ambientes em mudança, isto é, em cenas onde os objetos podem mudar de lugar após o robô já os ter mapeado. Todos os métodos propostos são testados com dados públicos e experimentos, e comparados com diversos métodos da literatura, alcançando um bom desempenho em tempo real.
id PUC_RIO-1_0362c8c359e5b5286db7943ce1263033
oai_identifier_str oai:MAXWELL.puc-rio.br:59878
network_acronym_str PUC_RIO-1
network_name_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository_id_str 534
spelling [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS [pt] SLAM VISUAL MÉTRICO-SEMÂNTICO EM TEMPO REAL PARA AMBIENTES EM MUDANÇA E DINÂMICOS [pt] SLAM VISUAL[pt] AMBIENTES EM MUDANCA[pt] AMBIENTES DINAMICOS[pt] MAPEAMENTO METRICO-SEMANTICO[en] VISUAL SLAM[en] CHANGING ENVIRONMENT[en] DYNAMIC ENVIRONMENTS[en] METRIC-SEMANTIC MAPPING[pt] Robôs móveis são cada dia mais importantes na sociedade moderna, realizando tarefas consideradas tediosas ou muito repetitivas para humanos, como limpeza ou patrulhamento. A maioria dessas tarefas requer um certo nível de autonomia do robô. Para que o robô seja considerado autônomo, ele precisa de um mapa do ambiente, e de sua posição e orientação nesse mapa. O problema de localização e mapeamento simultâneos (SLAM) é a tarefa de estimar tanto o mapa quanto a posição e orientação simultaneamente, usando somente informações dos sensores, sem ajuda externa. O problema de SLAM visual consiste na tarefa de realizar SLAM usando somente câmeras para o sensoriamento. A maior vantagem de usar câmeras é a possibilidade de resolver problemas de visão computacional que provêm informações de alto nível sobre a cena, como detecção de objetos. Porém a maioria dos sistemas de SLAM visual assume um ambiente estático, o que impõe limitações para a sua aplicabilidade em cenários reais. Esta tese apresenta soluções para o problema de SLAM visual em ambientes dinâmicos e em mudança. Especificamente, a tese propõe um método para ambientes com multidões, junto com um detector de pessoas customizado baseado em aprendizado profundo. Além disso, também é proposto um método de SLAM visual para ambientes altamente dinâmicos contendo objetos em movimento, combinando um rastreador de objetos robusto com um algoritmo de filtragem de pontos. Além disso, esta tese propõe um método de SLAM visual para ambientes em mudança, isto é, em cenas onde os objetos podem mudar de lugar após o robô já os ter mapeado. Todos os métodos propostos são testados com dados públicos e experimentos, e comparados com diversos métodos da literatura, alcançando um bom desempenho em tempo real. [en] Mobile robots have become increasingly important in modern society, as they can perform tasks that are tedious or too repetitive for humans, such as cleaning and patrolling. Most of these tasks require a certain level of autonomy of the robot. To be fully autonomous and perform navigation, the robot needs a map of the environment and its pose within this map. The Simultaneous Localization and Mapping (SLAM) problem is the task of estimating both map and localization, simultaneously, only using sensor measurements. The visual SLAM problem is the task of performing SLAM only using cameras for sensing. The main advantage of using cameras is the possibility of solving computer vision problems that provide high-level information about the scene, such as object detection. However, most visual SLAM systems assume a static environment, which imposes a limitation on their applicability in real-world scenarios. This thesis presents solutions to the visual SLAM problem in dynamic and changing environments. A custom deep learning-based people detector allows our solution to deal with crowded environments. Also, a combination of a robust object tracker and a filtering algorithm enables our visual SLAM system to perform well in highly dynamic environments containing moving objects. Furthermore, this thesis proposes a visual SLAM method for changing environments, i.e., in scenes where the objects are moved after the robot has already mapped them. All proposed methods are tested in datasets and experiments and compared with several state-of-the-art methods, achieving high accuracy in real time.MAXWELLMARCO ANTONIO MEGGIOLAROMARCO ANTONIO MEGGIOLAROMARCO ANTONIO MEGGIOLAROJOAO CARLOS VIRGOLINO SOARES2022-07-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/otherhttps://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@1https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@2http://doi.org/10.17771/PUCRio.acad.59878engreponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)instacron:PUC_RIOinfo:eu-repo/semantics/openAccess2022-07-05T00:00:00Zoai:MAXWELL.puc-rio.br:59878Repositório InstitucionalPRIhttps://www.maxwell.vrac.puc-rio.br/ibict.phpopendoar:5342022-07-05T00:00Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)false
dc.title.none.fl_str_mv [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
[pt] SLAM VISUAL MÉTRICO-SEMÂNTICO EM TEMPO REAL PARA AMBIENTES EM MUDANÇA E DINÂMICOS
title [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
spellingShingle [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
JOAO CARLOS VIRGOLINO SOARES
[pt] SLAM VISUAL
[pt] AMBIENTES EM MUDANCA
[pt] AMBIENTES DINAMICOS
[pt] MAPEAMENTO METRICO-SEMANTICO
[en] VISUAL SLAM
[en] CHANGING ENVIRONMENT
[en] DYNAMIC ENVIRONMENTS
[en] METRIC-SEMANTIC MAPPING
title_short [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
title_full [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
title_fullStr [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
title_full_unstemmed [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
title_sort [en] REAL-TIME METRIC-SEMANTIC VISUAL SLAM FOR DYNAMIC AND CHANGING ENVIRONMENTS
author JOAO CARLOS VIRGOLINO SOARES
author_facet JOAO CARLOS VIRGOLINO SOARES
author_role author
dc.contributor.none.fl_str_mv MARCO ANTONIO MEGGIOLARO
MARCO ANTONIO MEGGIOLARO
MARCO ANTONIO MEGGIOLARO
dc.contributor.author.fl_str_mv JOAO CARLOS VIRGOLINO SOARES
dc.subject.por.fl_str_mv [pt] SLAM VISUAL
[pt] AMBIENTES EM MUDANCA
[pt] AMBIENTES DINAMICOS
[pt] MAPEAMENTO METRICO-SEMANTICO
[en] VISUAL SLAM
[en] CHANGING ENVIRONMENT
[en] DYNAMIC ENVIRONMENTS
[en] METRIC-SEMANTIC MAPPING
topic [pt] SLAM VISUAL
[pt] AMBIENTES EM MUDANCA
[pt] AMBIENTES DINAMICOS
[pt] MAPEAMENTO METRICO-SEMANTICO
[en] VISUAL SLAM
[en] CHANGING ENVIRONMENT
[en] DYNAMIC ENVIRONMENTS
[en] METRIC-SEMANTIC MAPPING
description [pt] Robôs móveis são cada dia mais importantes na sociedade moderna, realizando tarefas consideradas tediosas ou muito repetitivas para humanos, como limpeza ou patrulhamento. A maioria dessas tarefas requer um certo nível de autonomia do robô. Para que o robô seja considerado autônomo, ele precisa de um mapa do ambiente, e de sua posição e orientação nesse mapa. O problema de localização e mapeamento simultâneos (SLAM) é a tarefa de estimar tanto o mapa quanto a posição e orientação simultaneamente, usando somente informações dos sensores, sem ajuda externa. O problema de SLAM visual consiste na tarefa de realizar SLAM usando somente câmeras para o sensoriamento. A maior vantagem de usar câmeras é a possibilidade de resolver problemas de visão computacional que provêm informações de alto nível sobre a cena, como detecção de objetos. Porém a maioria dos sistemas de SLAM visual assume um ambiente estático, o que impõe limitações para a sua aplicabilidade em cenários reais. Esta tese apresenta soluções para o problema de SLAM visual em ambientes dinâmicos e em mudança. Especificamente, a tese propõe um método para ambientes com multidões, junto com um detector de pessoas customizado baseado em aprendizado profundo. Além disso, também é proposto um método de SLAM visual para ambientes altamente dinâmicos contendo objetos em movimento, combinando um rastreador de objetos robusto com um algoritmo de filtragem de pontos. Além disso, esta tese propõe um método de SLAM visual para ambientes em mudança, isto é, em cenas onde os objetos podem mudar de lugar após o robô já os ter mapeado. Todos os métodos propostos são testados com dados públicos e experimentos, e comparados com diversos métodos da literatura, alcançando um bom desempenho em tempo real.
publishDate 2022
dc.date.none.fl_str_mv 2022-07-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/other
format other
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@2
http://doi.org/10.17771/PUCRio.acad.59878
url https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=59878@2
http://doi.org/10.17771/PUCRio.acad.59878
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv MAXWELL
publisher.none.fl_str_mv MAXWELL
dc.source.none.fl_str_mv reponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)
instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron:PUC_RIO
instname_str Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron_str PUC_RIO
institution PUC_RIO
reponame_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
collection Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository.name.fl_str_mv Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
repository.mail.fl_str_mv
_version_ 1814822637035061248