A light implementation of a 3d convolutional neural network for online gesture classification

Detalhes bibliográficos
Autor(a) principal: Baldissera, Fábio Brandolt
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da PUC_RS
Texto Completo: http://tede2.pucrs.br/tede2/handle/tede/10026
Resumo: Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados.
id P_RS_4e0c8a8c958c24201e77fa860a115fda
oai_identifier_str oai:tede2.pucrs.br:tede/10026
network_acronym_str P_RS
network_name_str Biblioteca Digital de Teses e Dissertações da PUC_RS
repository_id_str
spelling Vargas, Fabian Luishttp://lattes.cnpq.br/9050311050537919http://lattes.cnpq.br/4856502451751023Baldissera, Fábio Brandolt2021-12-20T19:53:24Z2019-10-31http://tede2.pucrs.br/tede2/handle/tede/10026Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados.With the advancement of machine learning techniques and the increased accessibility to computing power, Artificial Neural Networks (ANNs) have achieved state-of-the-art results in image classification and, most recently, in video classification. The possibility of gesture recognition from a video source enables a more natural non-contact human-machine interaction, immersion when interacting in virtual reality environments and can even lead to sign language translation in the near future. However, the techniques utilized in video classification are usually computationally expensive, being prohibitive to conventional hardware. This work aims to study and analyze the applicability of continuous online gesture recognition techniques for embedded systems. This goal is achieved by proposing a new model based on 2D and 3D CNNs able to perform online gesture recognition, i.e. yielding a label while the video frames are still being processed, in a predictive manner, before having access to future frames of the video. This technique is of paramount interest to applications in which the video is being acquired concomitantly to the classification process and the issuing of the labels has a strict deadline. The proposed model was tested against three representative gesture datasets found in the literature. The obtained results suggest the proposed technique improves the state-of-the-art by yielding a quick gesture recognition process while presenting a high accuracy, which is fundamental for the applicability of embedded systems.Submitted by PPG Engenharia Elétrica (engenharia.pg.eletrica@pucrs.br) on 2021-12-20T19:17:12Z No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2021-12-20T19:45:03Z (GMT) No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5)Made available in DSpace on 2021-12-20T19:53:24Z (GMT). No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5) Previous issue date: 2019-10-31Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESapplication/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/182933/F%c3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgengPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Engenharia ElétricaPUCRSBrasilEscola PolitécnicaGesture RecognitionOnline ClassificationDCNNReconhecimento de GestosClassificação Online3DCNNENGENHARIASA light implementation of a 3d convolutional neural network for online gesture classificationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação-26605041092728202950050060045189710564848268253590462550136975366info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgimage/jpeg5671http://tede2.pucrs.br/tede2/bitstream/tede/10026/4/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgd60cc960d32d0ebe89a114f10e97cd88MD54TEXTFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.txtFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.txttext/plain168497http://tede2.pucrs.br/tede2/bitstream/tede/10026/3/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.txt53fc1164fcef1a93acac433d292a389bMD53ORIGINALFÁBIO_BRANDOLT_BALDISSERA_DIS.pdfFÁBIO_BRANDOLT_BALDISSERA_DIS.pdfapplication/pdf9934072http://tede2.pucrs.br/tede2/bitstream/tede/10026/2/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf0f0ff3e8a21e01c9db92ef01740afc4bMD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8590http://tede2.pucrs.br/tede2/bitstream/tede/10026/1/license.txt220e11f2d3ba5354f917c7035aadef24MD51tede/100262021-12-20 20:00:31.536oai:tede2.pucrs.br:tede/10026QXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIEVsZXRyP25pY2E6IENvbSBiYXNlIG5vIGRpc3Bvc3RvIG5hIExlaSBGZWRlcmFsIG4/OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYT8/byBlbGV0cj9uaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWY/Y2lhIFVuaXZlcnNpZGFkZSBDYXQ/bGljYSBkbyBSaW8gR3JhbmRlIGRvIFN1bCwgc2VkaWFkYSBhIEF2LiBJcGlyYW5nYSA2NjgxLCBQb3J0byBBbGVncmUsIFJpbyBHcmFuZGUgZG8gU3VsLCBjb20gcmVnaXN0cm8gZGUgQ05QSiA4ODYzMDQxMzAwMDItODEgYmVtIGNvbW8gZW0gb3V0cmFzIGJpYmxpb3RlY2FzIGRpZ2l0YWlzLCBuYWNpb25haXMgZSBpbnRlcm5hY2lvbmFpcywgY29ucz9yY2lvcyBlIHJlZGVzID9zIHF1YWlzIGEgYmlibGlvdGVjYSBkYSBQVUNSUyBwb3NzYSBhIHZpciBwYXJ0aWNpcGFyLCBzZW0gP251cyBhbHVzaXZvIGFvcyBkaXJlaXRvcyBhdXRvcmFpcywgYSB0P3R1bG8gZGUgZGl2dWxnYT8/byBkYSBwcm9kdT8/byBjaWVudD9maWNhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2021-12-20T22:00:31Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false
dc.title.por.fl_str_mv A light implementation of a 3d convolutional neural network for online gesture classification
title A light implementation of a 3d convolutional neural network for online gesture classification
spellingShingle A light implementation of a 3d convolutional neural network for online gesture classification
Baldissera, Fábio Brandolt
Gesture Recognition
Online Classification
DCNN
Reconhecimento de Gestos
Classificação Online
3DCNN
ENGENHARIAS
title_short A light implementation of a 3d convolutional neural network for online gesture classification
title_full A light implementation of a 3d convolutional neural network for online gesture classification
title_fullStr A light implementation of a 3d convolutional neural network for online gesture classification
title_full_unstemmed A light implementation of a 3d convolutional neural network for online gesture classification
title_sort A light implementation of a 3d convolutional neural network for online gesture classification
author Baldissera, Fábio Brandolt
author_facet Baldissera, Fábio Brandolt
author_role author
dc.contributor.advisor1.fl_str_mv Vargas, Fabian Luis
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/9050311050537919
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/4856502451751023
dc.contributor.author.fl_str_mv Baldissera, Fábio Brandolt
contributor_str_mv Vargas, Fabian Luis
dc.subject.eng.fl_str_mv Gesture Recognition
Online Classification
DCNN
topic Gesture Recognition
Online Classification
DCNN
Reconhecimento de Gestos
Classificação Online
3DCNN
ENGENHARIAS
dc.subject.por.fl_str_mv Reconhecimento de Gestos
Classificação Online
3DCNN
dc.subject.cnpq.fl_str_mv ENGENHARIAS
description Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados.
publishDate 2019
dc.date.issued.fl_str_mv 2019-10-31
dc.date.accessioned.fl_str_mv 2021-12-20T19:53:24Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://tede2.pucrs.br/tede2/handle/tede/10026
url http://tede2.pucrs.br/tede2/handle/tede/10026
dc.language.iso.fl_str_mv eng
language eng
dc.relation.program.fl_str_mv -266050410927282029
dc.relation.confidence.fl_str_mv 500
500
600
dc.relation.cnpq.fl_str_mv 4518971056484826825
dc.relation.sponsorship.fl_str_mv 3590462550136975366
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv PUCRS
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Escola Politécnica
publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS
instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
instname_str Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron_str PUC_RS
institution PUC_RS
reponame_str Biblioteca Digital de Teses e Dissertações da PUC_RS
collection Biblioteca Digital de Teses e Dissertações da PUC_RS
bitstream.url.fl_str_mv http://tede2.pucrs.br/tede2/bitstream/tede/10026/4/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpg
http://tede2.pucrs.br/tede2/bitstream/tede/10026/3/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.txt
http://tede2.pucrs.br/tede2/bitstream/tede/10026/2/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf
http://tede2.pucrs.br/tede2/bitstream/tede/10026/1/license.txt
bitstream.checksum.fl_str_mv d60cc960d32d0ebe89a114f10e97cd88
53fc1164fcef1a93acac433d292a389b
0f0ff3e8a21e01c9db92ef01740afc4b
220e11f2d3ba5354f917c7035aadef24
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
repository.mail.fl_str_mv biblioteca.central@pucrs.br||
_version_ 1799765353560014848

Registros relacionados