HaFT: uma ferramenta para interação natural

Detalhes bibliográficos
Autor(a) principal: FIGUEIREDO, Lucas Silva
Data de Publicação: 2012
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/28170
Resumo: Nesta dissertação é apresentada uma ferramenta para o rastreamento de mãos e faces, apelidada de HAFT como abreviação para o nome na língua inglesa Hand and Face Tracker. O rastreamento se dá através do gerenciamento de nuvens de pontos da imagem, tendo como destaque um resultado robusto com uma taxa de atualização interativa. Para detectar e seguir mãos e faces, HAFT faz uso de modelos de segmentação de cor de pele, classificadores de Haar, e processos como agrupamento (labeling), extração de arestas, operadores morfológicos, análise do fluxo ótico, entre outros algoritmos de visão computacional. Como estudo de caso, a ferramenta de rastreamento proposta é aplicada em um cenário de interação baseada em gestos, dentro do contexto de jogos musicais, através do jogo intitulado Guitars on Air. Além de propor um desafio real no setor de entretenimento, o estudo de caso é apresentado como uma aplicação para avaliação de ferramentas de rastreamento, promovendo uma análise tanto individual, quanto comparativa. Desta forma, HAFT é analisado em paralelo a dois outros métodos de interação por gestos: o primeiro através do uso de luvas de cor laranja, e o segundo através do sensor de profundidade Kinect.
id UFPE_e5c947d13007f4807df39a2d7998d41c
oai_identifier_str oai:repositorio.ufpe.br:123456789/28170
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling FIGUEIREDO, Lucas Silvahttp://lattes.cnpq.br/3195170463502606http://lattes.cnpq.br/3355338790654065TEICHRIEB, Verônica2018-12-12T20:40:36Z2018-12-12T20:40:36Z2012-03-14https://repositorio.ufpe.br/handle/123456789/28170Nesta dissertação é apresentada uma ferramenta para o rastreamento de mãos e faces, apelidada de HAFT como abreviação para o nome na língua inglesa Hand and Face Tracker. O rastreamento se dá através do gerenciamento de nuvens de pontos da imagem, tendo como destaque um resultado robusto com uma taxa de atualização interativa. Para detectar e seguir mãos e faces, HAFT faz uso de modelos de segmentação de cor de pele, classificadores de Haar, e processos como agrupamento (labeling), extração de arestas, operadores morfológicos, análise do fluxo ótico, entre outros algoritmos de visão computacional. Como estudo de caso, a ferramenta de rastreamento proposta é aplicada em um cenário de interação baseada em gestos, dentro do contexto de jogos musicais, através do jogo intitulado Guitars on Air. Além de propor um desafio real no setor de entretenimento, o estudo de caso é apresentado como uma aplicação para avaliação de ferramentas de rastreamento, promovendo uma análise tanto individual, quanto comparativa. Desta forma, HAFT é analisado em paralelo a dois outros métodos de interação por gestos: o primeiro através do uso de luvas de cor laranja, e o segundo através do sensor de profundidade Kinect.CNPqThis dissertation presents a tool designed for hand and face tracking called HAFT. The tracking is performed through the management of clouds of points in the image, achieving a robust result with an interactive frame rate. In order to detect and follow hands and faces, HAFT makes use of Bayesian models of skin color segmentation, Haar classifiers, labeling processes, edge extraction, morphological operators, optical-flow analysis, among other computer vision algorithms. As case study, the proposed tracking tool is applied in a gesture interaction scenario, within the context of musical games, by using a developed game called Guitars on Air. In addition to proposing a real challenge in the entertainment industry, the case study is presented as an application for evaluation of tracking tools, providing individual and comparative analysis of such tools. Thereby, HAFT is analyzed along with two other tracking methods for gesture interaction: the first performs the tracking through the detection of orange colored gloves, and the second is the corporal interaction device called Kinect.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessCiência da computaçãoComputação gráficaInteração NaturalHaFT: uma ferramenta para interação naturalinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Lucas Silva Figueiredo.pdf.jpgDISSERTAÇÃO Lucas Silva Figueiredo.pdf.jpgGenerated Thumbnailimage/jpeg1251https://repositorio.ufpe.br/bitstream/123456789/28170/5/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf.jpg06090d7a36eff4ad952ca7482eb549efMD55ORIGINALDISSERTAÇÃO Lucas Silva Figueiredo.pdfDISSERTAÇÃO Lucas Silva Figueiredo.pdfapplication/pdf2942828https://repositorio.ufpe.br/bitstream/123456789/28170/1/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf996dbcd688f95a1895b6c153477d612bMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/28170/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/28170/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Lucas Silva Figueiredo.pdf.txtDISSERTAÇÃO Lucas Silva Figueiredo.pdf.txtExtracted texttext/plain230061https://repositorio.ufpe.br/bitstream/123456789/28170/4/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf.txtd500d1e1e36dec3fce01a99cd6d5d75aMD54123456789/281702019-10-25 08:01:36.816oai:repositorio.ufpe.br:123456789/28170TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T11:01:36Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv HaFT: uma ferramenta para interação natural
title HaFT: uma ferramenta para interação natural
spellingShingle HaFT: uma ferramenta para interação natural
FIGUEIREDO, Lucas Silva
Ciência da computação
Computação gráfica
Interação Natural
title_short HaFT: uma ferramenta para interação natural
title_full HaFT: uma ferramenta para interação natural
title_fullStr HaFT: uma ferramenta para interação natural
title_full_unstemmed HaFT: uma ferramenta para interação natural
title_sort HaFT: uma ferramenta para interação natural
author FIGUEIREDO, Lucas Silva
author_facet FIGUEIREDO, Lucas Silva
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3195170463502606
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3355338790654065
dc.contributor.author.fl_str_mv FIGUEIREDO, Lucas Silva
dc.contributor.advisor1.fl_str_mv TEICHRIEB, Verônica
contributor_str_mv TEICHRIEB, Verônica
dc.subject.por.fl_str_mv Ciência da computação
Computação gráfica
Interação Natural
topic Ciência da computação
Computação gráfica
Interação Natural
description Nesta dissertação é apresentada uma ferramenta para o rastreamento de mãos e faces, apelidada de HAFT como abreviação para o nome na língua inglesa Hand and Face Tracker. O rastreamento se dá através do gerenciamento de nuvens de pontos da imagem, tendo como destaque um resultado robusto com uma taxa de atualização interativa. Para detectar e seguir mãos e faces, HAFT faz uso de modelos de segmentação de cor de pele, classificadores de Haar, e processos como agrupamento (labeling), extração de arestas, operadores morfológicos, análise do fluxo ótico, entre outros algoritmos de visão computacional. Como estudo de caso, a ferramenta de rastreamento proposta é aplicada em um cenário de interação baseada em gestos, dentro do contexto de jogos musicais, através do jogo intitulado Guitars on Air. Além de propor um desafio real no setor de entretenimento, o estudo de caso é apresentado como uma aplicação para avaliação de ferramentas de rastreamento, promovendo uma análise tanto individual, quanto comparativa. Desta forma, HAFT é analisado em paralelo a dois outros métodos de interação por gestos: o primeiro através do uso de luvas de cor laranja, e o segundo através do sensor de profundidade Kinect.
publishDate 2012
dc.date.issued.fl_str_mv 2012-03-14
dc.date.accessioned.fl_str_mv 2018-12-12T20:40:36Z
dc.date.available.fl_str_mv 2018-12-12T20:40:36Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/28170
url https://repositorio.ufpe.br/handle/123456789/28170
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/28170/5/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/28170/1/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf
https://repositorio.ufpe.br/bitstream/123456789/28170/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/28170/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/28170/4/DISSERTA%c3%87%c3%83O%20Lucas%20Silva%20Figueiredo.pdf.txt
bitstream.checksum.fl_str_mv 06090d7a36eff4ad952ca7482eb549ef
996dbcd688f95a1895b6c153477d612b
e39d27027a6cc9cb039ad269a5db8e34
4b8a02c7f2818eaf00dcf2260dd5eb08
d500d1e1e36dec3fce01a99cd6d5d75a
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310767609905152