Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU

Detalhes bibliográficos
Autor(a) principal: Carvalho, Cesar Augusto de
Data de Publicação: 2019
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Biblioteca Digital de Monografias da UnB
Texto Completo: https://bdm.unb.br/handle/10483/26529
Resumo: Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019.
id UNB-2_71cf63ed5c70f595848386b9f0a56090
oai_identifier_str oai:bdm.unb.br:10483/26529
network_acronym_str UNB-2
network_name_str Biblioteca Digital de Monografias da UnB
repository_id_str 11571
spelling Carvalho, Cesar Augusto deLamar, Marcus ViniciusCARVALHO, Cesar Augusto de. Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU. 2019. xv, 88 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2019.https://bdm.unb.br/handle/10483/26529Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019.Surdos enfrentam dificuldades diariamente por problemas de comunicação, mesmo que sejam capazes física e intelectualmente de exercer praticamente qualquer tarefa que al- guma pessoa ouvinte exerceria. Tecnologias vestíveis estão se tornando cada vez mais comuns em dispositivos como smartwatches e smartbands, porém poucas dessas tecnolo- gias surgem com o objetivo de auxiliar os surdos. A Língua Brasileira de Sinais (Libras) é a língua oficial da comunidade surda no Brasil e é tão completa quanto qualquer língua oral. Pensado nisso, este trabalho propõe um sistema de baixo custo para tradução em tempo real de posturas manuais de Libras, mais especificamente a soletração do alfabeto manual, para português. O sistema proposto consiste em uma luva com cinco sensores que possuem acelerômetro e giroscópio, um em cada dedo, e um microcontrolador que se comunica via Bluetooth a um smartphone, que realiza o processamento dos dados obtidos pelos sensores em uma rede neural e classifica a postura manual realizada. O sistema proposto neste trabalho foi testado com três classificadores diferentes: i) Perceptron multicamadas (MLP); ii) K vizinhos mais próximos (KNN); e iii) Redes de funções de base radial (RBFN). O melhor desempenho em tempo real foi obtido pelo clas- sificador RBFN, com 99,84% de acurácia no conjunto de dados de teste. Além disso, foi obtida uma acurácia de 99,93% no MLP e 99,69% no KNN. Apesar de uma melhor acurá- cia, o MLP não se mostrou adequado para a utilização em tempo real porque não fornece um limiar muito confiável quando é fornecida uma entrada de uma classe desconhecida para a rede. Dessa forma, este protótipo se mostrou adequado para solucionar o problema de tradução de sinais de Libras, sendo sugerido que futuramente seja adaptado para novos sinais.Submitted by Kathryn Araujo (kathrynaraujo@bce.unb.br) on 2020-11-24T12:31:13Z No. of bitstreams: 1 2019_CesarAugustoDeCarvalho_tcc.pdf: 4400094 bytes, checksum: 424bf8f4183fa20bbbaf3764261b6176 (MD5)Approved for entry into archive by Luanna Maia (luanna@bce.unb.br) on 2021-02-02T12:42:31Z (GMT) No. of bitstreams: 1 2019_CesarAugustoDeCarvalho_tcc.pdf: 4400094 bytes, checksum: 424bf8f4183fa20bbbaf3764261b6176 (MD5)Made available in DSpace on 2021-02-02T12:42:31Z (GMT). No. of bitstreams: 1 2019_CesarAugustoDeCarvalho_tcc.pdf: 4400094 bytes, checksum: 424bf8f4183fa20bbbaf3764261b6176 (MD5)Deaf people face difficulties daily due to communication problems, even if they are able physically and intelectually to perform virtually any task that a hearing person would perform. Wearable technologies are becoming increasingly common in devices such as smartwatches and smartbands, but few of these technologies emerge to help deaf people. Brazilian Sign Language (Libras) is the official language of the deaf community in Brazil and is as complete as any oral language. With this in mind, this work proposes a low cost system for real time translation of manual Libras postures, specifically the spelling of the manual alphabet, to Portuguese. The proposed system consists of a glove with five sensors that have accelerometer and gyroscope, one on each finger, and a microcontroller that communicates via Bluetooth to a smartphone, which processes the data obtained by the sensors in a neural network and classifies the manual Libras posture performed. The system proposed in this work was tested with three different classifiers: i) Multi- Layer Perceptron (MLP); ii) K-Nearest Neighbors (KNN); and iii) Radial Basis Function Networks (RBFN). The best real time performance was obtained by the RBFN classifier, with 99,84% accuracy in the test dataset. In addition, an accuracy of 99.83% in MLP and 99.69% in KNN was obtained. Despite its better accuracy, MLP was not suitable for real-time use because it does not provide a very reliable threshold when an input of an unknown class is provided to the network. Thus, this prototype proved to be adequate to solve the problem of Libras signal translation, and it is suggested that in the future it will be adapted to new signals.A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor que autoriza a Biblioteca Digital da Produção Intelectual Discente da Universidade de Brasília (BDM) a disponibilizar o trabalho de conclusão de curso por meio do sítio bdm.unb.br, com as seguintes condições: disponível sob Licença Creative Commons 4.0 International, que permite copiar, distribuir e transmitir o trabalho, desde que seja citado o autor e licenciante. Não permite o uso para fins comerciais nem a adaptação desta.info:eu-repo/semantics/openAccessSurdos - meios de comunicaçãoLíngua brasileira de sinaisAprendizado de máquinaLíngua de sinaisProcessamento de sinais - técnicas digitaisUm sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMUinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis2021-02-02T12:42:31Z2021-02-02T12:42:31Z2019-12-12porreponame:Biblioteca Digital de Monografias da UnBinstname:Universidade de Brasília (UnB)instacron:UNBLICENSElicense.txtlicense.txttext/plain1817http://bdm.unb.br/xmlui/bitstream/10483/26529/2/license.txt21554873e56ad8ddc69c092699b98f95MD52ORIGINAL2019_CesarAugustoDeCarvalho_tcc.pdf2019_CesarAugustoDeCarvalho_tcc.pdfapplication/pdf4400094http://bdm.unb.br/xmlui/bitstream/10483/26529/1/2019_CesarAugustoDeCarvalho_tcc.pdf424bf8f4183fa20bbbaf3764261b6176MD5110483/265292021-02-02 10:42:31.273oai:bdm.unb.br:10483/26529w4kgbmVjZXNzw6FyaW8gY29uY29yZGFyIGNvbSBhIGxpY2Vuw6dhIGRlIGRpc3RyaWJ1acOnw6NvIG7Do28tZXhjbHVzaXZhLAphbnRlcyBxdWUgbyBkb2N1bWVudG8gcG9zc2EgYXBhcmVjZXIgbmEgQmlibGlvdGVjYSBEaWdpdGFsIGRhIFByb2R1w6fDo28gCkRpc2NlbnRlIGRhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEuIFBvciBmYXZvciwgbGVpYSBhCmxpY2Vuw6dhIGF0ZW50YW1lbnRlLiBDYXNvIG5lY2Vzc2l0ZSBkZSBhbGd1bSBlc2NsYXJlY2ltZW50byBlbnRyZSBlbQpjb250YXRvIGF0cmF2w6lzIGRlOiBiZG1AYmNlLnVuYi5iciBvdSAzMTA3LTI2ODcuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQW8gYXNzaW5hciBlIGVudHJlZ2FyIGVzdGEgbGljZW7Dp2EsIG8vYSBTci4vU3JhLiAoYXV0b3Igb3UgZGV0ZW50b3IgZG9zCmRpcmVpdG9zIGRlIGF1dG9yKToKCmEpIENvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIGRlIEJyYXPDrWxpYSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUKcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGNvbXVuaWNhciBlL291CmRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZW50cmVndWUgKGluY2x1aW5kbyBvIHJlc3Vtby9hYnN0cmFjdCkgZW0KZm9ybWF0byBkaWdpdGFsIG91IGltcHJlc3NvIGUgZW0gcXVhbHF1ZXIgbWVpby4KCmIpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYQp0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kKcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuCgpjKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MKZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcwpkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIMOgIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEgb3MgZGlyZWl0b3MKcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlCnRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91CmNvbnRlw7pkbyBkbyBkb2N1bWVudG8gZW50cmVndWUuCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbwpwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUgbsOjbyBhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEsIGRlY2xhcmEgcXVlCmN1bXByaXUgcXVhaXNxdWVyIG9icmlnYcOnw7VlcyBleGlnaWRhcyBwZWxvIHJlc3BlY3Rpdm8gY29udHJhdG8gb3UKYWNvcmRvLgoKQSBVbml2ZXJzaWRhZGUgZGUgQnJhc8OtbGlhIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBvKHMpIHNldSAocykgbm9tZSAocykKY29tbyBvIChzKSBhdXRvciAoZXMpIG91IGRldGVudG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50bwplbnRyZWd1ZSwgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRhcyBwZXJtaXRpZGFzIHBvcgplc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Monografiahttps://bdm.unb.br/PUBhttp://bdm.unb.br/oai/requestbdm@bce.unb.br||patricia@bce.unb.bropendoar:115712021-02-02T12:42:31Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)false
dc.title.pt_BR.fl_str_mv Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
title Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
spellingShingle Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
Carvalho, Cesar Augusto de
Surdos - meios de comunicação
Língua brasileira de sinais
Aprendizado de máquina
Língua de sinais
Processamento de sinais - técnicas digitais
title_short Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
title_full Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
title_fullStr Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
title_full_unstemmed Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
title_sort Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU
author Carvalho, Cesar Augusto de
author_facet Carvalho, Cesar Augusto de
author_role author
dc.contributor.author.fl_str_mv Carvalho, Cesar Augusto de
dc.contributor.advisor1.fl_str_mv Lamar, Marcus Vinicius
contributor_str_mv Lamar, Marcus Vinicius
dc.subject.keyword.pt_BR.fl_str_mv Surdos - meios de comunicação
Língua brasileira de sinais
Aprendizado de máquina
Língua de sinais
Processamento de sinais - técnicas digitais
topic Surdos - meios de comunicação
Língua brasileira de sinais
Aprendizado de máquina
Língua de sinais
Processamento de sinais - técnicas digitais
description Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019.
publishDate 2019
dc.date.submitted.none.fl_str_mv 2019-12-12
dc.date.accessioned.fl_str_mv 2021-02-02T12:42:31Z
dc.date.available.fl_str_mv 2021-02-02T12:42:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv CARVALHO, Cesar Augusto de. Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU. 2019. xv, 88 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2019.
dc.identifier.uri.fl_str_mv https://bdm.unb.br/handle/10483/26529
identifier_str_mv CARVALHO, Cesar Augusto de. Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU. 2019. xv, 88 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2019.
url https://bdm.unb.br/handle/10483/26529
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Monografias da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Biblioteca Digital de Monografias da UnB
collection Biblioteca Digital de Monografias da UnB
bitstream.url.fl_str_mv http://bdm.unb.br/xmlui/bitstream/10483/26529/2/license.txt
http://bdm.unb.br/xmlui/bitstream/10483/26529/1/2019_CesarAugustoDeCarvalho_tcc.pdf
bitstream.checksum.fl_str_mv 21554873e56ad8ddc69c092699b98f95
424bf8f4183fa20bbbaf3764261b6176
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv bdm@bce.unb.br||patricia@bce.unb.br
_version_ 1813908030682562560

Registros relacionados