JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION

Detalhes bibliográficos
Autor(a) principal: Guerra, Eduardo Vilas Boas Varandas
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/103090
Resumo: Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
id RCAP_ec9c1742df9b110bacf02088d3a4f7b5
oai_identifier_str oai:estudogeral.uc.pt:10316/103090
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATIONJetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATIONRede neuronal convolucionalRede neuronal profundaAprendizagem de transferênciaROSNavegação indoorConvolutional Neural NetworkDeep Neural NetworkTransfer LearningROSIndoor NavigationDissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e TecnologiaOs sistemas de localização internos são úteis em muitas aplicações práticas onde operadores móveis e robóticos necessitam de direção e localização precisas. Esses sistemas são usados ​​principalmente para compensar sinais de GPS fracos em ambientes indoor.No entanto, os sistemas de localização internos existentes precisam de hardware adicional, como routers de Wi-Fi e beacons distribuídos, para capturar com precisão as informações necessárias para calcular uma pose (consistindo em coordenadas de localização e ângulos de orientação). Estes sistemas funcionam perfeitamente em cenários com hardware adequado pré-disponível, como routers de Wi-Fi, como em universidades ou escolas. No entanto, a mesma situação pode não se aplicar a grandes instalações industriais complexas, onde hardware extra tem de ser instalado e mantido.O principal objetivo deste trabalho é apresentar um novo método de localização indoor que reduz significativamente a dependência de hardware adicional, utilizando técnicas de Computer Vision e Deep Learning. Para utilizar este sistema, o utilizador apenas precisa de um smartphone com câmara e a nossa aplicação móvel instalada.Para atingir este objetivo, dividimos o nosso projeto em três etapas:• Coleção de um dataset - Programámos um agente robótico para coletar um dataset de imagens.• Modelo de previsão de pose baseado em imagens - Implementámos e treinámos um modelo de previsão de pose baseado em imagens utilizando o dataset construído anteriormente.• Aplicação móvel - Criámos um protótipo de aplicação móvel e um servidor. Esta aplicação móvel é responsável pela interação com o utilizador, envia as imagens da câmara para o servidor e exibe o caminho até o destino no mapa do prédio. O servidor utiliza as fotos do smartphone e o modelo de previsão para calcular a pose do utilizador. Em seguida, usando o destino do utilizador, ele devolve o caminho calculado para a aplicação móvel a ser exibido ao utilizador.A aplicação móvel criada não teve um bom desempenho em condições reais de teste. No entanto, identificámos os problemas que levam a resultados insatisfatórios e desafios que os trabalhos futuros precisarão revolver. Esta identificação de problemas constitui a principal contribuição deste trabalho.Indoor localization systems are helpful in many practical applications where mobile and robotic operators require precise direction and location. These systems are mainly used to compensate for weak GPS signals in indoor environments. However, existing indoor localization systems require additional equipment, such as Wi-Fi routers and distributed beacons, to accurately capture the necessary information to calculate a pose (consisting of location coordinates and orientation angles). These systems work perfectly in scenarios with pre-available suitable hardware, such as Wi-Fi routers, like in universities or schools. However, the same situation might not apply to large complex industrial installations, where extra hardware must be installed and maintained. The main goal of this work is to present a new indoor localization method that significantly reduces the dependency on external hardware resources by leveraging state-of-the-art computer vision and deep learning techniques. To use this system, the user needs only a smartphone with a camera and our mobile application installed. To achieve this objective, we divided our project into three steps:• Dataset collection - We programmed a robotic agent to collect an image dataset.• Image-based pose prediction model - We implemented and trained an image-based pose prediction model utilizing the previously built dataset.• Mobile application - We created a prototype mobile application and a server. This mobile application is responsible for user interaction, sends the camera images to the server, and displays the path to the destination on the building map. The server utilizes the smartphone’s pictures and the prediction model to calculate the user’s pose. Then, using the user destination, it returns the calculated path to the mobile application to be displayed to the user.The created mobile application did not perform well on actual test conditions. However, we have identified the issues that lead to poor results and challenges that future works need to address. This problem identification constitutes the main contribution of this work.2022-09-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/103090http://hdl.handle.net/10316/103090TID:203077849engGuerra, Eduardo Vilas Boas Varandasinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-10-19T20:38:36Zoai:estudogeral.uc.pt:10316/103090Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:57.190685Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
title JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
spellingShingle JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
Guerra, Eduardo Vilas Boas Varandas
Rede neuronal convolucional
Rede neuronal profunda
Aprendizagem de transferência
ROS
Navegação indoor
Convolutional Neural Network
Deep Neural Network
Transfer Learning
ROS
Indoor Navigation
title_short JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
title_full JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
title_fullStr JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
title_full_unstemmed JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
title_sort JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION
author Guerra, Eduardo Vilas Boas Varandas
author_facet Guerra, Eduardo Vilas Boas Varandas
author_role author
dc.contributor.author.fl_str_mv Guerra, Eduardo Vilas Boas Varandas
dc.subject.por.fl_str_mv Rede neuronal convolucional
Rede neuronal profunda
Aprendizagem de transferência
ROS
Navegação indoor
Convolutional Neural Network
Deep Neural Network
Transfer Learning
ROS
Indoor Navigation
topic Rede neuronal convolucional
Rede neuronal profunda
Aprendizagem de transferência
ROS
Navegação indoor
Convolutional Neural Network
Deep Neural Network
Transfer Learning
ROS
Indoor Navigation
description Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-21
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/103090
http://hdl.handle.net/10316/103090
TID:203077849
url http://hdl.handle.net/10316/103090
identifier_str_mv TID:203077849
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134092970688512

Registros relacionados