Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada

Detalhes bibliográficos
Autor(a) principal: Bicho, Dylan Jordão
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/86377
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_1fa02500d80e8b2ec8cb3aeba627a4de
oai_identifier_str oai:estudogeral.uc.pt:10316/86377
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade AumentadaGrid-Based Object Detection and Tracking for Augmented Reality ApplicationsSensores RGB-DGrelhas de Ocupação 3DSegmentaçãoFiltro de KalmanFiltro de PartículasRGB-D Sensors3D Occupancy GridsSegmentationParticle FiltersKalman FiltersDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaAo longo dos últimos anos, os sistemas de Realidade Virtual e Realidade Aumentada têm vindo a ser desenvolvidos com o intuito de fornecer ao utilizador uma experiência totalmente imersiva através de uma estimulação sensorial artificial, trazendo inúmeros benefícios em várias áreas desde a saúde à educação. Contudo, estes sistemas encontram-se ainda limitados por diversos fatores: uma representação não realista da cena, falta de personalização e flexibilidade, viabilidade financeira, desconforto físico e psicológico dos utilizadores causando experiências nauseantes, entre outros. Estes também exigem que o utilizador se desloque num espaço vazio ou muito limitado pois não recriam o ambiente físico em que o utilizador se move num ambiente virtual com uma relação um-para-um (tanto nos movimentos efetuados como na interação com objetos presentes).No entanto, o desenvolvimento de tecnologias no domínio dos microprocessadores e do processamento gráfico, bem como o aparecimento de sensores de captura de informação tridimensional de baixo custo, mais eficientes para o mapeamento de cenários reais, tais como as Microsoft Kinect v2, têm vindo a tornar estes sistemas mais viáveis financeiramente. Nestes sistemas, uma boa representação tridimensional do ambiente é uma tarefa essencial, pois o seguimento de objetos e dos utilizadores é uma das componentes chave deste processo. Um pré-processamento da informação sensorial extraída dos sensores facilita este processo. Aplicando técnicas de seguimento a um objeto, é possível estimar a sua localização e a sua velocidade bem como prever futuros estados do mesmo.Nesta tese é proposto um sistema modular para a representação de um cenário tridimensional através de grelhas de ocupação recorrendo à informação sensorial de quatro Microsoft Kinects v2. Este processo pode ser dividido essencialmente em três módulos: primeiro, é feita a captura dos dados sensoriais das câmaras sendo posteriormente aplicadas técnicas para filtrar o ruído existente e para remover a informação relativa ao plano de fundo do cenário; depois, são aplicadas técnicas para a segmentação da nuvem de pontos construída; e finalmente, são aplicados filtros Bayesianos (tanto filtros de partículas, como filtros de Kalman) para o seguimento de todos os objetos e da cabeça de todos os utilizadores presentes no cenários. Deste modo, é obtida uma estimativa para a localização e para a velocidade instantânea dos objetos, bem como uma estimativa da sua próxima localização.O processo supramencionado foi sujeito a uma série de testes realizados em situações particularmente exigentes, sendo os resultados qualitativos obtidos apresentados neste documento. Os resultados demonstram que o sistema proposto é capaz de realizar o seguimento de qualquer objeto presente na cena, estando este limitado porém no caso de ocorrer uma interação com um objeto dinâmico. Relativamente ao módulo de seguimento de cabeça, este demonstrou ser robusto e aplicável em tempo real.Over recent years, Virtual Reality and Augmented Reality systems have been developed with the mission of giving a user a completely immersive experience through artificial stimulation of the user’s senses, and have brought countless benefits in several areas such as health and education. However, these systems are still limited by different challenging factors: absence of a realistic representation of the real world, lack of customization and flexibility, financial viability, physical and psychological discomfort causing nauseating effects, among others. These systems also demand that the user moves in an empty or very limited space, given that they do not recreate the physical environment where the user is moving into the virtual representation in a one-to-one nature (both in user movements as well as objects that are present).In spite of these facts, the technological advances in the domains of microprocessors and graphical processing, as well as the upcoming low-cost and efficient 3D data capturing sensors such as the Microsoft Kinect v2 (useful for real scenario reconstructions), have made such systems more financially viable. In these systems, a good 3D representation of the environment is key to success, seeing that object and user tracking is one of the most important steps of this process. A pre-processing step of the extracted sensory data makes this process easier. Applying tracking techniques to the present objects, it is possible to know the location and velocity of any given object, as well as estimate its future states.In this thesis a modular system is presented for the accurate representation of a real-world scenario as 3D occupancy grids using sensory data from four Microsoft Kinect v2. This process can be divided into three essential modules: first, sensory data is captured from the cameras and image processing techniques are applied to filter out noise and information related to the background of the environment; next, 3D segmentation techniques are applied to the constructed point clouds; finally, Bayesian filters (both particle filters as well as Kalman filters) are applied to track all the objects in the scene, as well as the heads of all the users. In this way, an estimation of all relevant objects and users location and instantaneous velocity, as well as their next location, is obtained.The aforementioned process was subject to a series of particularly challenging tests, with results of these qualitative tests presented in this document. The results show that the proposed system is capable of correctly tracking any object present in the scene (being however limited by a possible interaction between dynamic objects). In addition, the user head tracking module showed to be robust and deployable in a real-time application.2018-09-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/86377http://hdl.handle.net/10316/86377TID:202219402porBicho, Dylan Jordãoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T13:48:42Zoai:estudogeral.uc.pt:10316/86377Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:07:32.318972Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
Grid-Based Object Detection and Tracking for Augmented Reality Applications
title Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
spellingShingle Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
Bicho, Dylan Jordão
Sensores RGB-D
Grelhas de Ocupação 3D
Segmentação
Filtro de Kalman
Filtro de Partículas
RGB-D Sensors
3D Occupancy Grids
Segmentation
Particle Filters
Kalman Filters
title_short Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
title_full Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
title_fullStr Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
title_full_unstemmed Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
title_sort Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada
author Bicho, Dylan Jordão
author_facet Bicho, Dylan Jordão
author_role author
dc.contributor.author.fl_str_mv Bicho, Dylan Jordão
dc.subject.por.fl_str_mv Sensores RGB-D
Grelhas de Ocupação 3D
Segmentação
Filtro de Kalman
Filtro de Partículas
RGB-D Sensors
3D Occupancy Grids
Segmentation
Particle Filters
Kalman Filters
topic Sensores RGB-D
Grelhas de Ocupação 3D
Segmentação
Filtro de Kalman
Filtro de Partículas
RGB-D Sensors
3D Occupancy Grids
Segmentation
Particle Filters
Kalman Filters
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2018
dc.date.none.fl_str_mv 2018-09-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/86377
http://hdl.handle.net/10316/86377
TID:202219402
url http://hdl.handle.net/10316/86377
identifier_str_mv TID:202219402
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133966510325760

Registros relacionados