A light implementation of a 3d convolutional neural network for online gesture classification
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da PUC_RS |
Texto Completo: | http://tede2.pucrs.br/tede2/handle/tede/10026 |
Resumo: | Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados. |
id |
P_RS_4e0c8a8c958c24201e77fa860a115fda |
---|---|
oai_identifier_str |
oai:tede2.pucrs.br:tede/10026 |
network_acronym_str |
P_RS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
repository_id_str |
|
spelling |
Vargas, Fabian Luishttp://lattes.cnpq.br/9050311050537919http://lattes.cnpq.br/4856502451751023Baldissera, Fábio Brandolt2021-12-20T19:53:24Z2019-10-31http://tede2.pucrs.br/tede2/handle/tede/10026Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados.With the advancement of machine learning techniques and the increased accessibility to computing power, Artificial Neural Networks (ANNs) have achieved state-of-the-art results in image classification and, most recently, in video classification. The possibility of gesture recognition from a video source enables a more natural non-contact human-machine interaction, immersion when interacting in virtual reality environments and can even lead to sign language translation in the near future. However, the techniques utilized in video classification are usually computationally expensive, being prohibitive to conventional hardware. This work aims to study and analyze the applicability of continuous online gesture recognition techniques for embedded systems. This goal is achieved by proposing a new model based on 2D and 3D CNNs able to perform online gesture recognition, i.e. yielding a label while the video frames are still being processed, in a predictive manner, before having access to future frames of the video. This technique is of paramount interest to applications in which the video is being acquired concomitantly to the classification process and the issuing of the labels has a strict deadline. The proposed model was tested against three representative gesture datasets found in the literature. The obtained results suggest the proposed technique improves the state-of-the-art by yielding a quick gesture recognition process while presenting a high accuracy, which is fundamental for the applicability of embedded systems.Submitted by PPG Engenharia Elétrica (engenharia.pg.eletrica@pucrs.br) on 2021-12-20T19:17:12Z No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2021-12-20T19:45:03Z (GMT) No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5)Made available in DSpace on 2021-12-20T19:53:24Z (GMT). No. of bitstreams: 1 FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf: 9934072 bytes, checksum: 0f0ff3e8a21e01c9db92ef01740afc4b (MD5) Previous issue date: 2019-10-31Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESapplication/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/182933/F%c3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgengPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Engenharia ElétricaPUCRSBrasilEscola PolitécnicaGesture RecognitionOnline ClassificationDCNNReconhecimento de GestosClassificação Online3DCNNENGENHARIASA light implementation of a 3d convolutional neural network for online gesture classificationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação-26605041092728202950050060045189710564848268253590462550136975366info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgimage/jpeg5671http://tede2.pucrs.br/tede2/bitstream/tede/10026/4/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpgd60cc960d32d0ebe89a114f10e97cd88MD54TEXTFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.txtFÁBIO_BRANDOLT_BALDISSERA_DIS.pdf.txttext/plain168497http://tede2.pucrs.br/tede2/bitstream/tede/10026/3/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.txt53fc1164fcef1a93acac433d292a389bMD53ORIGINALFÁBIO_BRANDOLT_BALDISSERA_DIS.pdfFÁBIO_BRANDOLT_BALDISSERA_DIS.pdfapplication/pdf9934072http://tede2.pucrs.br/tede2/bitstream/tede/10026/2/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf0f0ff3e8a21e01c9db92ef01740afc4bMD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8590http://tede2.pucrs.br/tede2/bitstream/tede/10026/1/license.txt220e11f2d3ba5354f917c7035aadef24MD51tede/100262021-12-20 20:00:31.536oai:tede2.pucrs.br:tede/10026QXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIEVsZXRyP25pY2E6IENvbSBiYXNlIG5vIGRpc3Bvc3RvIG5hIExlaSBGZWRlcmFsIG4/OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYT8/byBlbGV0cj9uaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWY/Y2lhIFVuaXZlcnNpZGFkZSBDYXQ/bGljYSBkbyBSaW8gR3JhbmRlIGRvIFN1bCwgc2VkaWFkYSBhIEF2LiBJcGlyYW5nYSA2NjgxLCBQb3J0byBBbGVncmUsIFJpbyBHcmFuZGUgZG8gU3VsLCBjb20gcmVnaXN0cm8gZGUgQ05QSiA4ODYzMDQxMzAwMDItODEgYmVtIGNvbW8gZW0gb3V0cmFzIGJpYmxpb3RlY2FzIGRpZ2l0YWlzLCBuYWNpb25haXMgZSBpbnRlcm5hY2lvbmFpcywgY29ucz9yY2lvcyBlIHJlZGVzID9zIHF1YWlzIGEgYmlibGlvdGVjYSBkYSBQVUNSUyBwb3NzYSBhIHZpciBwYXJ0aWNpcGFyLCBzZW0gP251cyBhbHVzaXZvIGFvcyBkaXJlaXRvcyBhdXRvcmFpcywgYSB0P3R1bG8gZGUgZGl2dWxnYT8/byBkYSBwcm9kdT8/byBjaWVudD9maWNhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2021-12-20T22:00:31Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false |
dc.title.por.fl_str_mv |
A light implementation of a 3d convolutional neural network for online gesture classification |
title |
A light implementation of a 3d convolutional neural network for online gesture classification |
spellingShingle |
A light implementation of a 3d convolutional neural network for online gesture classification Baldissera, Fábio Brandolt Gesture Recognition Online Classification DCNN Reconhecimento de Gestos Classificação Online 3DCNN ENGENHARIAS |
title_short |
A light implementation of a 3d convolutional neural network for online gesture classification |
title_full |
A light implementation of a 3d convolutional neural network for online gesture classification |
title_fullStr |
A light implementation of a 3d convolutional neural network for online gesture classification |
title_full_unstemmed |
A light implementation of a 3d convolutional neural network for online gesture classification |
title_sort |
A light implementation of a 3d convolutional neural network for online gesture classification |
author |
Baldissera, Fábio Brandolt |
author_facet |
Baldissera, Fábio Brandolt |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Vargas, Fabian Luis |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/9050311050537919 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/4856502451751023 |
dc.contributor.author.fl_str_mv |
Baldissera, Fábio Brandolt |
contributor_str_mv |
Vargas, Fabian Luis |
dc.subject.eng.fl_str_mv |
Gesture Recognition Online Classification DCNN |
topic |
Gesture Recognition Online Classification DCNN Reconhecimento de Gestos Classificação Online 3DCNN ENGENHARIAS |
dc.subject.por.fl_str_mv |
Reconhecimento de Gestos Classificação Online 3DCNN |
dc.subject.cnpq.fl_str_mv |
ENGENHARIAS |
description |
Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados. |
publishDate |
2019 |
dc.date.issued.fl_str_mv |
2019-10-31 |
dc.date.accessioned.fl_str_mv |
2021-12-20T19:53:24Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://tede2.pucrs.br/tede2/handle/tede/10026 |
url |
http://tede2.pucrs.br/tede2/handle/tede/10026 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.program.fl_str_mv |
-266050410927282029 |
dc.relation.confidence.fl_str_mv |
500 500 600 |
dc.relation.cnpq.fl_str_mv |
4518971056484826825 |
dc.relation.sponsorship.fl_str_mv |
3590462550136975366 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
PUCRS |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Escola Politécnica |
publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) instacron:PUC_RS |
instname_str |
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
instacron_str |
PUC_RS |
institution |
PUC_RS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
collection |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
bitstream.url.fl_str_mv |
http://tede2.pucrs.br/tede2/bitstream/tede/10026/4/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.jpg http://tede2.pucrs.br/tede2/bitstream/tede/10026/3/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf.txt http://tede2.pucrs.br/tede2/bitstream/tede/10026/2/F%C3%81BIO_BRANDOLT_BALDISSERA_DIS.pdf http://tede2.pucrs.br/tede2/bitstream/tede/10026/1/license.txt |
bitstream.checksum.fl_str_mv |
d60cc960d32d0ebe89a114f10e97cd88 53fc1164fcef1a93acac433d292a389b 0f0ff3e8a21e01c9db92ef01740afc4b 220e11f2d3ba5354f917c7035aadef24 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
repository.mail.fl_str_mv |
biblioteca.central@pucrs.br|| |
_version_ |
1799765353560014848 |