Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras

Detalhes bibliográficos
Autor(a) principal: Breda, Vinícius Morais
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/205486
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.
id UFSC_e27eae7d093458e94ab337e5d4fd6c9b
oai_identifier_str oai:repositorio.ufsc.br:123456789/205486
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a librasEngenharia elétricaLíngua brasileira de sinaisRedes neurais (Computação)Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.A comunicação através de gestos é algo natural para os seres humanos, e por isso é muito importante que sistemas computacionais consigam reconhecer esses gestos, permitindo uma interação natural entre homem e máquina, seja para fins de acessibilidade, segurança, entretenimento, etc. Somando a importância dos gestos aos avanços tecnológicos, o interesse no reconhecimento de gestos utilizando visão computacional tem crescido cada vez mais, pois já se mostrou útil em diversas aplicações. Uma ferramenta que já conquistou o seu espaço no reconhecimento da fala são os modelos ocultos de Markov (Hidden Markov Models - HMMs), que também têm se mostrado úteis no reconhecimento de gestos. Outra ferramenta muito poderosa para o reconhecimento de imagens são as redes neurais convolucionais (convolutional neural networks - CNNs), que vêm sendo muito utilizadas nos últimos anos devido as modernas placas de processamento gráfico. Este trabalho propõe um sistema para reconhecimento de uma sequência de gestos dinâmicos em vídeo utilizando a combinação das duas ferramentas. São utilizados gestos da LIBRAS (Língua Brasileira de Sinais), que são modelados por HMMs, enquanto que uma CNN modela as formas da mão. As saídas da CNN são utilizadas como descritores para os HMMs em conjunto com descritores convencionais como a posição e inclinação das mãos. Em comparação com o uso exclusivo de descritores convencionais, o uso da CNN proporciona um aumento expressivo da acurácia da classificação no conjunto de teste.Abstract : Communication through gestures is natural for humans, and so it's very important that computer systems can recognize these gestures, allowing a natural interaction between humans and machine, whether for accessibility, security, entertainment, and so on. The importance of gestures added to the technological advances has led to a growing in the interest in gesture recognition using computer vision, since it has proved usefull in several applications. One tool that has already gained space in speech recognition is the Hidden Markov Models (HMMs), which have also proved useful in gesture recognition. Another very powerful tool for image recognition is the convolutional neural networks (CNNs), which have been widely used in the last years due to modern graphics processing boards. This work proposes a system for recognition of a sequence of dynamic gestures in videos using the combination of the two tools. LIBRAS's gestures (Brazilian Sign Language) are used, which are modeled by HMMs, while a CNN models the hand shapes. CNN's outputs are used as descriptors for the HMMs in conjunction with conventional descriptors such as the position and tilt of the hands. Compared with the exclusive use of conventional descriptors, the use of CNN has showed a significant increase in the accuracy of the classification in the test set.Silva, DaniloUchoa Filho, Bartolomeu FerreiraUniversidade Federal de Santa CatarinaBreda, Vinícius Morais2020-03-31T13:44:48Z2020-03-31T13:44:48Z2018info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis179 p.| il., gráfs.application/pdf358734https://repositorio.ufsc.br/handle/123456789/205486porreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2020-03-31T13:44:48Zoai:repositorio.ufsc.br:123456789/205486Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732020-03-31T13:44:48Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
spellingShingle Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
Breda, Vinícius Morais
Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
title_short Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_full Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_fullStr Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_full_unstemmed Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_sort Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
author Breda, Vinícius Morais
author_facet Breda, Vinícius Morais
author_role author
dc.contributor.none.fl_str_mv Silva, Danilo
Uchoa Filho, Bartolomeu Ferreira
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Breda, Vinícius Morais
dc.subject.por.fl_str_mv Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
topic Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.
publishDate 2018
dc.date.none.fl_str_mv 2018
2020-03-31T13:44:48Z
2020-03-31T13:44:48Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 358734
https://repositorio.ufsc.br/handle/123456789/205486
identifier_str_mv 358734
url https://repositorio.ufsc.br/handle/123456789/205486
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 179 p.| il., gráfs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652386154053632

Registros relacionados