Uma proposta de sistema para tradução entre linguagens de sinais

Detalhes bibliográficos
Autor(a) principal: NEIVA, Davi Hirafuji
Data de Publicação: 2015
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/16778
Resumo: Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua.
id UFPE_65a6aa00ccad77e7d2dc215fc657e9ea
oai_identifier_str oai:repositorio.ufpe.br:123456789/16778
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling NEIVA, Davi HirafujiZANCHETTIN, Cleber2016-04-22T19:16:44Z2016-04-22T19:16:44Z2015-08-28https://repositorio.ufpe.br/handle/123456789/16778Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua.Nowadays much has been done for accessibility and inclusion of people with disabilities using technology. In Brazil, there are approximately 9 million of deaf people that uses the Brazilian Sign Language (LIBRAS) e go through various communication barriers. There are some applications that provide a translation between LIBRAS and Portuguese, but communication between deaf people among different nationalities, using different sign languages, is still a great challenge. This research aims to provide a system that allows deaf people from different nationalities communicate with each other using their own sign language. In order to accomplish this, a mobile application captures gestures through the use of its camera and communicates with a web server, who identifies o sign using an artificial neural network ELM – Extreme Learning Machine. Images are processed in order to isolate the hand by combining computer vision technics like edge detection, bucket fill algorithm and masks to remove the background information. The system also provides a web interface to register new gestures as well as upload new images for a specific gesture, thus creating a collaborative gesture database. The present work purposes a novel approach for communication between deaf people with different nationalities combined with a collaborative platform to create the gestures database that can not only translate between different sign languages, but motivate deaf people to learn a different sign language.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência artificial - AprendizagemVisão computacionalUma proposta de sistema para tradução entre linguagens de sinaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Davi Hirafuji Neiva.pdf.jpgDISSERTAÇÃO Davi Hirafuji Neiva.pdf.jpgGenerated Thumbnailimage/jpeg1256https://repositorio.ufpe.br/bitstream/123456789/16778/5/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.jpg089f6729a255cb3625122657b25e0182MD55ORIGINALDISSERTAÇÃO Davi Hirafuji Neiva.pdfDISSERTAÇÃO Davi Hirafuji Neiva.pdfapplication/pdf3977130https://repositorio.ufpe.br/bitstream/123456789/16778/1/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf14ac8dc4d1aa0a77593793c86b5e14c6MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81232https://repositorio.ufpe.br/bitstream/123456789/16778/2/license_rdf66e71c371cc565284e70f40736c94386MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/16778/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Davi Hirafuji Neiva.pdf.txtDISSERTAÇÃO Davi Hirafuji Neiva.pdf.txtExtracted texttext/plain189307https://repositorio.ufpe.br/bitstream/123456789/16778/4/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.txtdaf99d8620630a106666ae4a1e8d0943MD54123456789/167782019-10-25 05:24:58.437oai:repositorio.ufpe.br:123456789/16778TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T08:24:58Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Uma proposta de sistema para tradução entre linguagens de sinais
title Uma proposta de sistema para tradução entre linguagens de sinais
spellingShingle Uma proposta de sistema para tradução entre linguagens de sinais
NEIVA, Davi Hirafuji
Inteligência artificial - Aprendizagem
Visão computacional
title_short Uma proposta de sistema para tradução entre linguagens de sinais
title_full Uma proposta de sistema para tradução entre linguagens de sinais
title_fullStr Uma proposta de sistema para tradução entre linguagens de sinais
title_full_unstemmed Uma proposta de sistema para tradução entre linguagens de sinais
title_sort Uma proposta de sistema para tradução entre linguagens de sinais
author NEIVA, Davi Hirafuji
author_facet NEIVA, Davi Hirafuji
author_role author
dc.contributor.author.fl_str_mv NEIVA, Davi Hirafuji
dc.contributor.advisor1.fl_str_mv ZANCHETTIN, Cleber
contributor_str_mv ZANCHETTIN, Cleber
dc.subject.por.fl_str_mv Inteligência artificial - Aprendizagem
Visão computacional
topic Inteligência artificial - Aprendizagem
Visão computacional
description Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua.
publishDate 2015
dc.date.issued.fl_str_mv 2015-08-28
dc.date.accessioned.fl_str_mv 2016-04-22T19:16:44Z
dc.date.available.fl_str_mv 2016-04-22T19:16:44Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/16778
url https://repositorio.ufpe.br/handle/123456789/16778
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/16778/5/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/16778/1/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf
https://repositorio.ufpe.br/bitstream/123456789/16778/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/16778/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/16778/4/DISSERTA%c3%87%c3%83O%20Davi%20Hirafuji%20Neiva.pdf.txt
bitstream.checksum.fl_str_mv 089f6729a255cb3625122657b25e0182
14ac8dc4d1aa0a77593793c86b5e14c6
66e71c371cc565284e70f40736c94386
4b8a02c7f2818eaf00dcf2260dd5eb08
daf99d8620630a106666ae4a1e8d0943
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310835866959872