Gesture recognition using deep neural networks

Detalhes bibliográficos
Autor(a) principal: Brás, André Filipe Pereira
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/83023
Resumo: Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
id RCAP_72781d7c7b2ad2030642cdda19e1014f
oai_identifier_str oai:estudogeral.uc.pt:10316/83023
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Gesture recognition using deep neural networksReconhecimento de gestos usando redes neuronais profundasAprendizagem de máquinaAprendizagem profundaRedes Neuronais ArtificiaisRedes Neuronais ConvolucionaisReconhecimento de gestosMachine learningDeep learningArtificial Neural NetworksConvolutional Neural NetworksGesture recognitionDissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e TecnologiaEsta dissertação teve como principal objetivo o desenvolvimento de um método para realizar segmentação e reconhecimento de gestos. A pesquisa foi motivada pela importância do reconhecimento de ações e gestos humanos em aplicações do mundo real, como a Interação Homem-Máquina e a compreensão de linguagem gestual. Além disso, pensa-se que o estado da arte atual pode ser melhorado, já que esta é uma área de pesquisa em desenvolvimento contínuo, com novos métodos e ideias surgindo frequentemente.A segmentação dos gestos envolveu um conjunto de características artesanais extraídas dos dados 3D do esqueleto, as quais são adequadas para representar cada frame de qualquer sequência de vídeo, e uma Rede Neuronal Artificial para distinguir momentos de descanso de períodos de atividade. Para o reconhecimento de gestos, foram desenvolvidos 3 modelos diferentes. O reconhecimento usando as características artesanais e uma janela deslizante, que junta informação ao longo da dimensão temporal, foi a primeira abordagem. Além disso, a combinação de várias janelas deslizantes com o intuito de obter a influência de diferentes escalas temporais também foi experimentada. Por último, todas as características artesanais foram descartadas e uma Rede Neuronal Convolucional foi usada com o objetivo de extrair automaticamente as características e as representações mais importantes a partir de imagens.Todos os métodos foram testados no conjunto de dados do concurso 2014 Looking At People e o melhor alcançou um índice de Jaccard de 0.71. O desempenho é quase equivalente ao de algumas técnicas do estado da arte.This dissertation had as the main goal the development of a method to perform gesture segmentation and recognition. The research was motivated by the significance of human action and gesture recognition in real world applications, such as Human-Machine Interaction (HMI) and sign language understanding. Furthermore, it is thought that the current state of the art can be improved, since this is an area of research in continuous developing, with new methods and ideas emerging frequently.The gesture segmentation involved a set of handcrafted features extracted from 3D skeleton data, which are suited to characterize each frame of any video sequence, and an Artificial Neural Network (ANN) to distinguish resting moments from periods of activity. For the gesture recognition, 3 different models were developed. The recognition using the handcrafted features and a sliding window, which gathers information along the time dimension, was the first approach. Furthermore, the combination of several sliding windows in order to reach the influence of different temporal scales was also experienced. Lastly, all the handcrafted features were discarded and a Convolutional Neural Network (CNN) was used with the aim to automatically extract the most important features and representations from images.All the methods were tested in 2014 Looking At People Challenge’s data set and the best one achieved a Jaccard index of 0.71. The performance is almost on pair with that of some of the state of the art techniques.2017-07-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/83023http://hdl.handle.net/10316/83023TID:202120848engBrás, André Filipe Pereirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-02-03T11:53:07Zoai:estudogeral.uc.pt:10316/83023Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:04:51.186448Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Gesture recognition using deep neural networks
Reconhecimento de gestos usando redes neuronais profundas
title Gesture recognition using deep neural networks
spellingShingle Gesture recognition using deep neural networks
Brás, André Filipe Pereira
Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
title_short Gesture recognition using deep neural networks
title_full Gesture recognition using deep neural networks
title_fullStr Gesture recognition using deep neural networks
title_full_unstemmed Gesture recognition using deep neural networks
title_sort Gesture recognition using deep neural networks
author Brás, André Filipe Pereira
author_facet Brás, André Filipe Pereira
author_role author
dc.contributor.author.fl_str_mv Brás, André Filipe Pereira
dc.subject.por.fl_str_mv Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
topic Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
description Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
publishDate 2017
dc.date.none.fl_str_mv 2017-07-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/83023
http://hdl.handle.net/10316/83023
TID:202120848
url http://hdl.handle.net/10316/83023
identifier_str_mv TID:202120848
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133940480475136

Registros relacionados