Uma proposta de sistema para tradução entre linguagens de sinais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/16778 |
Resumo: | Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua. |
id |
UFPE_65a6aa00ccad77e7d2dc215fc657e9ea |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/16778 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
NEIVA, Davi HirafujiZANCHETTIN, Cleber2016-04-22T19:16:44Z2016-04-22T19:16:44Z2015-08-28https://repositorio.ufpe.br/handle/123456789/16778Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua.Nowadays much has been done for accessibility and inclusion of people with disabilities using technology. In Brazil, there are approximately 9 million of deaf people that uses the Brazilian Sign Language (LIBRAS) e go through various communication barriers. There are some applications that provide a translation between LIBRAS and Portuguese, but communication between deaf people among different nationalities, using different sign languages, is still a great challenge. This research aims to provide a system that allows deaf people from different nationalities communicate with each other using their own sign language. In order to accomplish this, a mobile application captures gestures through the use of its camera and communicates with a web server, who identifies o sign using an artificial neural network ELM – Extreme Learning Machine. Images are processed in order to isolate the hand by combining computer vision technics like edge detection, bucket fill algorithm and masks to remove the background information. The system also provides a web interface to register new gestures as well as upload new images for a specific gesture, thus creating a collaborative gesture database. The present work purposes a novel approach for communication between deaf people with different nationalities combined with a collaborative platform to create the gestures database that can not only translate between different sign languages, but motivate deaf people to learn a different sign language.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência artificial - AprendizagemVisão computacionalUma proposta de sistema para tradução entre linguagens de sinaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Davi Hirafuji Neiva.pdf.jpgDISSERTAÇÃO Davi Hirafuji Neiva.pdf.jpgGenerated Thumbnailimage/jpeg1256https://repositorio.ufpe.br/bitstream/123456789/16778/5/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.jpg089f6729a255cb3625122657b25e0182MD55ORIGINALDISSERTAÇÃO Davi Hirafuji Neiva.pdfDISSERTAÇÃO Davi Hirafuji Neiva.pdfapplication/pdf3977130https://repositorio.ufpe.br/bitstream/123456789/16778/1/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf14ac8dc4d1aa0a77593793c86b5e14c6MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81232https://repositorio.ufpe.br/bitstream/123456789/16778/2/license_rdf66e71c371cc565284e70f40736c94386MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/16778/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Davi Hirafuji Neiva.pdf.txtDISSERTAÇÃO Davi Hirafuji Neiva.pdf.txtExtracted texttext/plain189307https://repositorio.ufpe.br/bitstream/123456789/16778/4/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.txtdaf99d8620630a106666ae4a1e8d0943MD54123456789/167782019-10-25 05:24:58.437oai:repositorio.ufpe.br:123456789/16778TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T08:24:58Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Uma proposta de sistema para tradução entre linguagens de sinais |
title |
Uma proposta de sistema para tradução entre linguagens de sinais |
spellingShingle |
Uma proposta de sistema para tradução entre linguagens de sinais NEIVA, Davi Hirafuji Inteligência artificial - Aprendizagem Visão computacional |
title_short |
Uma proposta de sistema para tradução entre linguagens de sinais |
title_full |
Uma proposta de sistema para tradução entre linguagens de sinais |
title_fullStr |
Uma proposta de sistema para tradução entre linguagens de sinais |
title_full_unstemmed |
Uma proposta de sistema para tradução entre linguagens de sinais |
title_sort |
Uma proposta de sistema para tradução entre linguagens de sinais |
author |
NEIVA, Davi Hirafuji |
author_facet |
NEIVA, Davi Hirafuji |
author_role |
author |
dc.contributor.author.fl_str_mv |
NEIVA, Davi Hirafuji |
dc.contributor.advisor1.fl_str_mv |
ZANCHETTIN, Cleber |
contributor_str_mv |
ZANCHETTIN, Cleber |
dc.subject.por.fl_str_mv |
Inteligência artificial - Aprendizagem Visão computacional |
topic |
Inteligência artificial - Aprendizagem Visão computacional |
description |
Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015-08-28 |
dc.date.accessioned.fl_str_mv |
2016-04-22T19:16:44Z |
dc.date.available.fl_str_mv |
2016-04-22T19:16:44Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/16778 |
url |
https://repositorio.ufpe.br/handle/123456789/16778 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/16778/5/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/16778/1/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf https://repositorio.ufpe.br/bitstream/123456789/16778/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/16778/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/16778/4/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.txt |
bitstream.checksum.fl_str_mv |
089f6729a255cb3625122657b25e0182 14ac8dc4d1aa0a77593793c86b5e14c6 66e71c371cc565284e70f40736c94386 4b8a02c7f2818eaf00dcf2260dd5eb08 daf99d8620630a106666ae4a1e8d0943 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310835866959872 |