Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D

Detalhes bibliográficos
Autor(a) principal: Weber, Henrique
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/140860
Resumo: Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva.
id URGS_54ef5e21b96ba15cbbf2b383d162555d
oai_identifier_str oai:www.lume.ufrgs.br:10183/140860
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Weber, HenriqueJung, Claudio Rosito2016-05-12T02:15:10Z2016http://hdl.handle.net/10183/140860000991523Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva.Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.application/pdfporInformática médicaInteração homem-computadorVisão computacionalComputer visionHuman-computer interactionGesture recognitionRGB-D camerasTécnica para interação com mãos em superficies planares utilizando uma câmera RGB-DA technique for hand interaction with planar surfaces using an RGB-D camera info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2016mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000991523.pdf000991523.pdfTexto completoapplication/pdf7205022http://www.lume.ufrgs.br/bitstream/10183/140860/1/000991523.pdf11fe108f2acc9bfba370047a7f1656a7MD51TEXT000991523.pdf.txt000991523.pdf.txtExtracted Texttext/plain109810http://www.lume.ufrgs.br/bitstream/10183/140860/2/000991523.pdf.txt1481fb737994201f1f8d8d8f79a2cd01MD52THUMBNAIL000991523.pdf.jpg000991523.pdf.jpgGenerated Thumbnailimage/jpeg1082http://www.lume.ufrgs.br/bitstream/10183/140860/3/000991523.pdf.jpg8fea07964dd4a5e507c24c1cb4ba081bMD5310183/1408602022-02-22 04:47:13.910412oai:www.lume.ufrgs.br:10183/140860Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532022-02-22T07:47:13Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
dc.title.alternative.en.fl_str_mv A technique for hand interaction with planar surfaces using an RGB-D camera
title Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
spellingShingle Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
Weber, Henrique
Informática médica
Interação homem-computador
Visão computacional
Computer vision
Human-computer interaction
Gesture recognition
RGB-D cameras
title_short Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
title_full Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
title_fullStr Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
title_full_unstemmed Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
title_sort Técnica para interação com mãos em superficies planares utilizando uma câmera RGB-D
author Weber, Henrique
author_facet Weber, Henrique
author_role author
dc.contributor.author.fl_str_mv Weber, Henrique
dc.contributor.advisor1.fl_str_mv Jung, Claudio Rosito
contributor_str_mv Jung, Claudio Rosito
dc.subject.por.fl_str_mv Informática médica
Interação homem-computador
Visão computacional
topic Informática médica
Interação homem-computador
Visão computacional
Computer vision
Human-computer interaction
Gesture recognition
RGB-D cameras
dc.subject.eng.fl_str_mv Computer vision
Human-computer interaction
Gesture recognition
RGB-D cameras
description Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva.
publishDate 2016
dc.date.accessioned.fl_str_mv 2016-05-12T02:15:10Z
dc.date.issued.fl_str_mv 2016
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/140860
dc.identifier.nrb.pt_BR.fl_str_mv 000991523
url http://hdl.handle.net/10183/140860
identifier_str_mv 000991523
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/140860/1/000991523.pdf
http://www.lume.ufrgs.br/bitstream/10183/140860/2/000991523.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/140860/3/000991523.pdf.jpg
bitstream.checksum.fl_str_mv 11fe108f2acc9bfba370047a7f1656a7
1481fb737994201f1f8d8d8f79a2cd01
8fea07964dd4a5e507c24c1cb4ba081b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085362894110720