Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFBA |
Texto Completo: | http://repositorio.ufba.br/ri/handle/ri/19374 |
Resumo: | Gestos são ações corporais não-verbais voltadas para a expressão de algum significado. Estes incluem movimentos de mãos, face, braços, dedos, entre outros, sendo abordados por trabalhos que visam reconhecê-los para promover interações humanas com sistemas computacionais. Devido à grande aplicabilidade do reconhecimento de gestos, tem-se notado que estes trabalhos estão se tornando mais comuns, utilizando técnicas e metodologias mais elaboradas e capazes de prover resultados cada vez melhores. A opção por quais técnicas aplicar para o reconhecimento de gestos varia de acordo com a estratégia empregada em cada trabalho e quais aspectos são utilizados para este reconhecimento. Tem-se, por exemplo, trabalhos baseados no uso de modelos estatísticos. Outros optam pela aquisição de características geométricas de mãos e partes do corpo, enquanto outros, dentre os quais se enquadra o presente trabalho, optam pelo uso de descritores e classificadores, responsáveis por extrair características das imagens relevantes para o seu reconhecimento e; por realizar a classificação efetiva dos gestos baseado nestas informações. Neste âmbito, o presente trabalho visa elaborar, aplicar e apresentar uma abordagem para o reconhecimento de gestos, embasando-se em uma revisão da literatura a respeito das principais técnicas e metodologias empregadas para este fim e escolhendo como campo prático, a Língua Brasileira de Sinais (Libras). Para a extração de informações das imagens, optou-se pelo uso de um vetor de características resultante da aplicação dos descritores Histograma de Gradientes Orientados (HOG) e Momentos Invariantes de Zernike (MIZ), os quais voltam-se para as formas e contornos presentes nas imagens. Para o reconhecimento, foi utilizado o classificador Perceptron Multicamada, sendo este disposto em uma arquitetura onde o processo de classificação é dividido em 2 estágios. Devido à inexistência de datasets públicos da Libras, fez-se necessária, com o auxílio de especialistas da língua e alunos surdos, a criação de um dataset de 9600 imagens, as quais referem-se a 40 sinais da Libras. Isso fez com que a presente abordagem partisse desta criação do dataset até a etapa final de classificação dos sinais. Por fim, testes foram realizados e obteve-se 96,77% de taxa de acerto, evidenciando um alto índice de acerto. Este resultado foi validado considerando possíveis ameaças à abordagem, como a realização de testes considerando um indivíduo não-presente no conjunto de treinamento do classificador e a aplicação da abordagem em um dataset público de gestos. |
id |
UFBA-2_c0876b0e144afa98678864e8edee9348 |
---|---|
oai_identifier_str |
oai:repositorio.ufba.br:ri/19374 |
network_acronym_str |
UFBA-2 |
network_name_str |
Repositório Institucional da UFBA |
repository_id_str |
1932 |
spelling |
Bastos, Igor Leonardo OliveiraÂngelo, Michele FúlviaLoula, Angelo ConradoApolinário Júnior, Antonio LopesGonzaga, Adilson2016-06-03T23:17:29Z2016-06-03T23:17:29Z2016-06-032015-05-15http://repositorio.ufba.br/ri/handle/ri/19374Gestos são ações corporais não-verbais voltadas para a expressão de algum significado. Estes incluem movimentos de mãos, face, braços, dedos, entre outros, sendo abordados por trabalhos que visam reconhecê-los para promover interações humanas com sistemas computacionais. Devido à grande aplicabilidade do reconhecimento de gestos, tem-se notado que estes trabalhos estão se tornando mais comuns, utilizando técnicas e metodologias mais elaboradas e capazes de prover resultados cada vez melhores. A opção por quais técnicas aplicar para o reconhecimento de gestos varia de acordo com a estratégia empregada em cada trabalho e quais aspectos são utilizados para este reconhecimento. Tem-se, por exemplo, trabalhos baseados no uso de modelos estatísticos. Outros optam pela aquisição de características geométricas de mãos e partes do corpo, enquanto outros, dentre os quais se enquadra o presente trabalho, optam pelo uso de descritores e classificadores, responsáveis por extrair características das imagens relevantes para o seu reconhecimento e; por realizar a classificação efetiva dos gestos baseado nestas informações. Neste âmbito, o presente trabalho visa elaborar, aplicar e apresentar uma abordagem para o reconhecimento de gestos, embasando-se em uma revisão da literatura a respeito das principais técnicas e metodologias empregadas para este fim e escolhendo como campo prático, a Língua Brasileira de Sinais (Libras). Para a extração de informações das imagens, optou-se pelo uso de um vetor de características resultante da aplicação dos descritores Histograma de Gradientes Orientados (HOG) e Momentos Invariantes de Zernike (MIZ), os quais voltam-se para as formas e contornos presentes nas imagens. Para o reconhecimento, foi utilizado o classificador Perceptron Multicamada, sendo este disposto em uma arquitetura onde o processo de classificação é dividido em 2 estágios. Devido à inexistência de datasets públicos da Libras, fez-se necessária, com o auxílio de especialistas da língua e alunos surdos, a criação de um dataset de 9600 imagens, as quais referem-se a 40 sinais da Libras. Isso fez com que a presente abordagem partisse desta criação do dataset até a etapa final de classificação dos sinais. Por fim, testes foram realizados e obteve-se 96,77% de taxa de acerto, evidenciando um alto índice de acerto. Este resultado foi validado considerando possíveis ameaças à abordagem, como a realização de testes considerando um indivíduo não-presente no conjunto de treinamento do classificador e a aplicação da abordagem em um dataset público de gestos.Submitted by Mayara Nascimento (mayara.nascimento@ufba.br) on 2016-05-31T14:15:01Z No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5)Approved for entry into archive by Alda Lima da Silva (sivalda@ufba.br) on 2016-06-03T23:17:29Z (GMT) No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5)Made available in DSpace on 2016-06-03T23:17:29Z (GMT). No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5)Ciência da ComputaçãoReconhecimento de gestosHistograma de Gradientes OrientadosMomentos Invariantes de ZernikeRedes Neurais ArtificiaisLibrasReconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisInstituto de Matemática. Departamento de Ciência da ComputaçãoMestrado Multiinstitucional de Pós-Graduação em Ciência da ComputaçãoUFBAbrasilinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFBAinstname:Universidade Federal da Bahia (UFBA)instacron:UFBAORIGINALIgor Bastos - Dissertação VFinal.pdfIgor Bastos - Dissertação VFinal.pdfapplication/pdf3703212https://repositorio.ufba.br/bitstream/ri/19374/1/Igor%20%20Bastos%20-%20Disserta%c3%a7%c3%a3o%20VFinal.pdfa00013910865dacb8025d56659076abbMD51LICENSElicense.txtlicense.txttext/plain1345https://repositorio.ufba.br/bitstream/ri/19374/2/license.txt0d4b811ef71182510d2015daa7c8a900MD52TEXTIgor Bastos - Dissertação VFinal.pdf.txtIgor Bastos - Dissertação VFinal.pdf.txtExtracted texttext/plain183702https://repositorio.ufba.br/bitstream/ri/19374/3/Igor%20%20Bastos%20-%20Disserta%c3%a7%c3%a3o%20VFinal.pdf.txt6ad54846895c37adb66bc08c606fe95dMD53ri/193742022-07-01 10:46:41.982oai:repositorio.ufba.br:ri/19374VGVybW8gZGUgTGljZW4/YSwgbj9vIGV4Y2x1c2l2bywgcGFyYSBvIGRlcD9zaXRvIG5vIFJlcG9zaXQ/cmlvIEluc3RpdHVjaW9uYWwgZGEgVUZCQS4KCiBQZWxvIHByb2Nlc3NvIGRlIHN1Ym1pc3M/byBkZSBkb2N1bWVudG9zLCBvIGF1dG9yIG91IHNldSByZXByZXNlbnRhbnRlIGxlZ2FsLCBhbyBhY2VpdGFyIAplc3NlIHRlcm1vIGRlIGxpY2VuP2EsIGNvbmNlZGUgYW8gUmVwb3NpdD9yaW8gSW5zdGl0dWNpb25hbCBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkYSBCYWhpYSAKbyBkaXJlaXRvIGRlIG1hbnRlciB1bWEgYz9waWEgZW0gc2V1IHJlcG9zaXQ/cmlvIGNvbSBhIGZpbmFsaWRhZGUsIHByaW1laXJhLCBkZSBwcmVzZXJ2YT8/by4gCkVzc2VzIHRlcm1vcywgbj9vIGV4Y2x1c2l2b3MsIG1hbnQ/bSBvcyBkaXJlaXRvcyBkZSBhdXRvci9jb3B5cmlnaHQsIG1hcyBlbnRlbmRlIG8gZG9jdW1lbnRvIApjb21vIHBhcnRlIGRvIGFjZXJ2byBpbnRlbGVjdHVhbCBkZXNzYSBVbml2ZXJzaWRhZGUuCgogUGFyYSBvcyBkb2N1bWVudG9zIHB1YmxpY2Fkb3MgY29tIHJlcGFzc2UgZGUgZGlyZWl0b3MgZGUgZGlzdHJpYnVpPz9vLCBlc3NlIHRlcm1vIGRlIGxpY2VuP2EgCmVudGVuZGUgcXVlOgoKIE1hbnRlbmRvIG9zIGRpcmVpdG9zIGF1dG9yYWlzLCByZXBhc3NhZG9zIGEgdGVyY2Vpcm9zLCBlbSBjYXNvIGRlIHB1YmxpY2E/P2VzLCBvIHJlcG9zaXQ/cmlvCnBvZGUgcmVzdHJpbmdpciBvIGFjZXNzbyBhbyB0ZXh0byBpbnRlZ3JhbCwgbWFzIGxpYmVyYSBhcyBpbmZvcm1hPz9lcyBzb2JyZSBvIGRvY3VtZW50bwooTWV0YWRhZG9zIGVzY3JpdGl2b3MpLgoKIERlc3RhIGZvcm1hLCBhdGVuZGVuZG8gYW9zIGFuc2Vpb3MgZGVzc2EgdW5pdmVyc2lkYWRlIGVtIG1hbnRlciBzdWEgcHJvZHU/P28gY2llbnQ/ZmljYSBjb20gCmFzIHJlc3RyaT8/ZXMgaW1wb3N0YXMgcGVsb3MgZWRpdG9yZXMgZGUgcGVyaT9kaWNvcy4KCiBQYXJhIGFzIHB1YmxpY2E/P2VzIHNlbSBpbmljaWF0aXZhcyBxdWUgc2VndWVtIGEgcG9sP3RpY2EgZGUgQWNlc3NvIEFiZXJ0bywgb3MgZGVwP3NpdG9zIApjb21wdWxzP3Jpb3MgbmVzc2UgcmVwb3NpdD9yaW8gbWFudD9tIG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBtYXMgbWFudD9tIGFjZXNzbyBpcnJlc3RyaXRvIAphbyBtZXRhZGFkb3MgZSB0ZXh0byBjb21wbGV0by4gQXNzaW0sIGEgYWNlaXRhPz9vIGRlc3NlIHRlcm1vIG4/byBuZWNlc3NpdGEgZGUgY29uc2VudGltZW50bwogcG9yIHBhcnRlIGRlIGF1dG9yZXMvZGV0ZW50b3JlcyBkb3MgZGlyZWl0b3MsIHBvciBlc3RhcmVtIGVtIGluaWNpYXRpdmFzIGRlIGFjZXNzbyBhYmVydG8uCg==Repositório InstitucionalPUBhttp://192.188.11.11:8080/oai/requestopendoar:19322022-07-01T13:46:41Repositório Institucional da UFBA - Universidade Federal da Bahia (UFBA)false |
dc.title.pt_BR.fl_str_mv |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
title |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
spellingShingle |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais Bastos, Igor Leonardo Oliveira Ciência da Computação Reconhecimento de gestos Histograma de Gradientes Orientados Momentos Invariantes de Zernike Redes Neurais Artificiais Libras |
title_short |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
title_full |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
title_fullStr |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
title_full_unstemmed |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
title_sort |
Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais |
author |
Bastos, Igor Leonardo Oliveira |
author_facet |
Bastos, Igor Leonardo Oliveira |
author_role |
author |
dc.contributor.author.fl_str_mv |
Bastos, Igor Leonardo Oliveira |
dc.contributor.advisor1.fl_str_mv |
Ângelo, Michele Fúlvia |
dc.contributor.referee1.fl_str_mv |
Loula, Angelo Conrado Apolinário Júnior, Antonio Lopes Gonzaga, Adilson |
contributor_str_mv |
Ângelo, Michele Fúlvia Loula, Angelo Conrado Apolinário Júnior, Antonio Lopes Gonzaga, Adilson |
dc.subject.cnpq.fl_str_mv |
Ciência da Computação |
topic |
Ciência da Computação Reconhecimento de gestos Histograma de Gradientes Orientados Momentos Invariantes de Zernike Redes Neurais Artificiais Libras |
dc.subject.por.fl_str_mv |
Reconhecimento de gestos Histograma de Gradientes Orientados Momentos Invariantes de Zernike Redes Neurais Artificiais Libras |
description |
Gestos são ações corporais não-verbais voltadas para a expressão de algum significado. Estes incluem movimentos de mãos, face, braços, dedos, entre outros, sendo abordados por trabalhos que visam reconhecê-los para promover interações humanas com sistemas computacionais. Devido à grande aplicabilidade do reconhecimento de gestos, tem-se notado que estes trabalhos estão se tornando mais comuns, utilizando técnicas e metodologias mais elaboradas e capazes de prover resultados cada vez melhores. A opção por quais técnicas aplicar para o reconhecimento de gestos varia de acordo com a estratégia empregada em cada trabalho e quais aspectos são utilizados para este reconhecimento. Tem-se, por exemplo, trabalhos baseados no uso de modelos estatísticos. Outros optam pela aquisição de características geométricas de mãos e partes do corpo, enquanto outros, dentre os quais se enquadra o presente trabalho, optam pelo uso de descritores e classificadores, responsáveis por extrair características das imagens relevantes para o seu reconhecimento e; por realizar a classificação efetiva dos gestos baseado nestas informações. Neste âmbito, o presente trabalho visa elaborar, aplicar e apresentar uma abordagem para o reconhecimento de gestos, embasando-se em uma revisão da literatura a respeito das principais técnicas e metodologias empregadas para este fim e escolhendo como campo prático, a Língua Brasileira de Sinais (Libras). Para a extração de informações das imagens, optou-se pelo uso de um vetor de características resultante da aplicação dos descritores Histograma de Gradientes Orientados (HOG) e Momentos Invariantes de Zernike (MIZ), os quais voltam-se para as formas e contornos presentes nas imagens. Para o reconhecimento, foi utilizado o classificador Perceptron Multicamada, sendo este disposto em uma arquitetura onde o processo de classificação é dividido em 2 estágios. Devido à inexistência de datasets públicos da Libras, fez-se necessária, com o auxílio de especialistas da língua e alunos surdos, a criação de um dataset de 9600 imagens, as quais referem-se a 40 sinais da Libras. Isso fez com que a presente abordagem partisse desta criação do dataset até a etapa final de classificação dos sinais. Por fim, testes foram realizados e obteve-se 96,77% de taxa de acerto, evidenciando um alto índice de acerto. Este resultado foi validado considerando possíveis ameaças à abordagem, como a realização de testes considerando um indivíduo não-presente no conjunto de treinamento do classificador e a aplicação da abordagem em um dataset público de gestos. |
publishDate |
2015 |
dc.date.submitted.none.fl_str_mv |
2015-05-15 |
dc.date.accessioned.fl_str_mv |
2016-06-03T23:17:29Z |
dc.date.available.fl_str_mv |
2016-06-03T23:17:29Z |
dc.date.issued.fl_str_mv |
2016-06-03 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufba.br/ri/handle/ri/19374 |
url |
http://repositorio.ufba.br/ri/handle/ri/19374 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Instituto de Matemática. Departamento de Ciência da Computação |
dc.publisher.program.fl_str_mv |
Mestrado Multiinstitucional de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFBA |
dc.publisher.country.fl_str_mv |
brasil |
publisher.none.fl_str_mv |
Instituto de Matemática. Departamento de Ciência da Computação |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFBA instname:Universidade Federal da Bahia (UFBA) instacron:UFBA |
instname_str |
Universidade Federal da Bahia (UFBA) |
instacron_str |
UFBA |
institution |
UFBA |
reponame_str |
Repositório Institucional da UFBA |
collection |
Repositório Institucional da UFBA |
bitstream.url.fl_str_mv |
https://repositorio.ufba.br/bitstream/ri/19374/1/Igor%20%20Bastos%20-%20Disserta%c3%a7%c3%a3o%20VFinal.pdf https://repositorio.ufba.br/bitstream/ri/19374/2/license.txt https://repositorio.ufba.br/bitstream/ri/19374/3/Igor%20%20Bastos%20-%20Disserta%c3%a7%c3%a3o%20VFinal.pdf.txt |
bitstream.checksum.fl_str_mv |
a00013910865dacb8025d56659076abb 0d4b811ef71182510d2015daa7c8a900 6ad54846895c37adb66bc08c606fe95d |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFBA - Universidade Federal da Bahia (UFBA) |
repository.mail.fl_str_mv |
|
_version_ |
1808459514598391808 |