Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFPB |
Texto Completo: | https://repositorio.ufpb.br/jspui/handle/123456789/21163 |
Resumo: | Deaf people are a considerable part of the world population. However, although many countries adopt their sign language as an official language, there are linguistics barriers to accessing fundamental rights, especially access to health services. This situation has been the focus of some government policies that oblige essential service providers to provide sign language interpreters to assist deaf people. However, this type of solution has high operating costs, mainly to serve the entire deaf community in all environments. These setbacks motivate the investigation of methodologies and automated tools to support this type of problem. Thus, in this paper, we proposed a two-stream model for the recognition of the Brazilian Sign Language (Libras). The proposed solution does not use any additional capture sensor or hardware, being entirely base on images or sequences of images (videos). The results show that the best accuracy for the test set was 99.80%, considering a scenario where the interpreter used in the test set was not used in the training set. Besides, we also created a new dataset in the Brazilian sign language (Libras) containing 5000 videos of 50 signs in the health context, which may assist the development and research of other solutions. |
id |
UFPB_40ecc18db3544bc79e5b8f416d6cb076 |
---|---|
oai_identifier_str |
oai:repositorio.ufpb.br:123456789/21163 |
network_acronym_str |
UFPB |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFPB |
repository_id_str |
|
spelling |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúdeAcessibilidadeLibrasVisão computacionalRedes neurais convolucionaisAprendizagem profundaMultimodalAccessibilityComputer visionCNNDeep learningCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAODeaf people are a considerable part of the world population. However, although many countries adopt their sign language as an official language, there are linguistics barriers to accessing fundamental rights, especially access to health services. This situation has been the focus of some government policies that oblige essential service providers to provide sign language interpreters to assist deaf people. However, this type of solution has high operating costs, mainly to serve the entire deaf community in all environments. These setbacks motivate the investigation of methodologies and automated tools to support this type of problem. Thus, in this paper, we proposed a two-stream model for the recognition of the Brazilian Sign Language (Libras). The proposed solution does not use any additional capture sensor or hardware, being entirely base on images or sequences of images (videos). The results show that the best accuracy for the test set was 99.80%, considering a scenario where the interpreter used in the test set was not used in the training set. Besides, we also created a new dataset in the Brazilian sign language (Libras) containing 5000 videos of 50 signs in the health context, which may assist the development and research of other solutions.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESOs surdos são uma parte considerável da população mundial. No entanto, embora muitos países adotem sua língua de sinais como língua oficial, existem barreiras linguísticas de acesso aos direitos fundamentais, especialmente o acesso aos serviços de saúde. Essa situação tem sido o foco de algumas políticas governamentais que obrigam os prestadores de serviços essenciais a fornecer intérpretes de língua de sinais para ajudar as pessoas surdas. No entanto, esse tipo de solução possui altos custos operacionais, principalmente para atender toda a comunidade surda em todos os ambientes. Esses contratempos motivam a investigação de metodologias e ferramentas automatizadas para apoiar esse tipo de problema. Assim, neste trabalho, é proposto um modelo de várias correntes para o reconhecimento de sinais em Língua Brasileira de Sinais (Libras). A solução proposta não utiliza nenhum sensor ou hardware de captura adicional, baseando-se inteiramente em imagens ou sequências de imagens (vídeos). Os resultados obtidos com uma arquitetura de três fluxos mostram que a melhor acurácia para o conjunto de testes foi de 99,80%, considerando um cenário em que o intérprete usado no conjunto de testes não foi usado no conjunto de treinamento. Além disso, também foi criado um novo conjunto de dados na Língua Brasileira de Sinais (Libras) contendo 5000 vídeos de 50 sinais no contexto da saúde, o que pode auxiliar no desenvolvimento e na pesquisa de outras soluções.Universidade Federal da ParaíbaBrasilInformáticaPrograma de Pós-Graduação em InformáticaUFPBAraújo, Tiago Maritan Ugulino dehttp://lattes.cnpq.br/6347743344931103Rêgo, Thaís Gaudêncio dohttp://lattes.cnpq.br/3166390632199101Silva, Diego Ramon Bezerra da2021-10-05T19:48:06Z2021-02-192021-10-05T19:48:06Z2020-12-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://repositorio.ufpb.br/jspui/handle/123456789/21163porhttp://creativecommons.org/licenses/by-nd/3.0/br/info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPB2022-08-09T17:39:58Zoai:repositorio.ufpb.br:123456789/21163Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufpb.br/PUBhttp://tede.biblioteca.ufpb.br:8080/oai/requestdiretoria@ufpb.br|| diretoria@ufpb.bropendoar:2022-08-09T17:39:58Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB)false |
dc.title.none.fl_str_mv |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
title |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
spellingShingle |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde Silva, Diego Ramon Bezerra da Acessibilidade Libras Visão computacional Redes neurais convolucionais Aprendizagem profunda Multimodal Accessibility Computer vision CNN Deep learning CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
title_full |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
title_fullStr |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
title_full_unstemmed |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
title_sort |
Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde |
author |
Silva, Diego Ramon Bezerra da |
author_facet |
Silva, Diego Ramon Bezerra da |
author_role |
author |
dc.contributor.none.fl_str_mv |
Araújo, Tiago Maritan Ugulino de http://lattes.cnpq.br/6347743344931103 Rêgo, Thaís Gaudêncio do http://lattes.cnpq.br/3166390632199101 |
dc.contributor.author.fl_str_mv |
Silva, Diego Ramon Bezerra da |
dc.subject.por.fl_str_mv |
Acessibilidade Libras Visão computacional Redes neurais convolucionais Aprendizagem profunda Multimodal Accessibility Computer vision CNN Deep learning CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
Acessibilidade Libras Visão computacional Redes neurais convolucionais Aprendizagem profunda Multimodal Accessibility Computer vision CNN Deep learning CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
Deaf people are a considerable part of the world population. However, although many countries adopt their sign language as an official language, there are linguistics barriers to accessing fundamental rights, especially access to health services. This situation has been the focus of some government policies that oblige essential service providers to provide sign language interpreters to assist deaf people. However, this type of solution has high operating costs, mainly to serve the entire deaf community in all environments. These setbacks motivate the investigation of methodologies and automated tools to support this type of problem. Thus, in this paper, we proposed a two-stream model for the recognition of the Brazilian Sign Language (Libras). The proposed solution does not use any additional capture sensor or hardware, being entirely base on images or sequences of images (videos). The results show that the best accuracy for the test set was 99.80%, considering a scenario where the interpreter used in the test set was not used in the training set. Besides, we also created a new dataset in the Brazilian sign language (Libras) containing 5000 videos of 50 signs in the health context, which may assist the development and research of other solutions. |
publishDate |
2020 |
dc.date.none.fl_str_mv |
2020-12-22 2021-10-05T19:48:06Z 2021-02-19 2021-10-05T19:48:06Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpb.br/jspui/handle/123456789/21163 |
url |
https://repositorio.ufpb.br/jspui/handle/123456789/21163 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal da Paraíba Brasil Informática Programa de Pós-Graduação em Informática UFPB |
publisher.none.fl_str_mv |
Universidade Federal da Paraíba Brasil Informática Programa de Pós-Graduação em Informática UFPB |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFPB instname:Universidade Federal da Paraíba (UFPB) instacron:UFPB |
instname_str |
Universidade Federal da Paraíba (UFPB) |
instacron_str |
UFPB |
institution |
UFPB |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFPB |
collection |
Biblioteca Digital de Teses e Dissertações da UFPB |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB) |
repository.mail.fl_str_mv |
diretoria@ufpb.br|| diretoria@ufpb.br |
_version_ |
1801842983219232768 |