Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia
Autor(a) principal: | |
---|---|
Data de Publicação: | 2012 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/jspui/handle/123456789/15190 |
Resumo: | Deaf people have serious difficulties to access information. The support for sign languages is rarely addressed in Information and Communication Technologies (ICT). Furthermore, in scientific literature, there is a lack of works related to machine translation for sign languages in real-time and open-domain scenarios, such as TV. To minimize these problems, in this work, we propose a solution for automatic generation of Brazilian Sign Language (LIBRAS) video tracks into captioned digital multimedia contents. These tracks are generated from a real-time machine translation strategy, which performs the translation from a Brazilian Portuguese subtitle stream (e.g., a movie subtitle or a closed caption stream). Furthermore, the proposed solution is open-domain and has a set of mechanisms that exploit human computation to generate and maintain their linguistic constructions. Some implementations of the proposed solution were developed for digital TV, Web and Digital Cinema platforms, and a set of experiments with deaf users was developed to evaluate the main aspects of the solution. The results showed that the proposed solution is efficient and able to generate and embed LIBRAS tracks in real-time scenarios and is a practical and feasible alternative to reduce barriers of deaf to access information, especially when human interpreters are not available |
id |
UFRN_9707c8b946f0e8442ea514fab6aa5c7f |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/15190 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Araújo, Tiago Maritan Ugulino dehttp://lattes.cnpq.br/6347743344931103http://lattes.cnpq.br/6614550860293610Gonçalves, Luiz Marcos Garciahttp://lattes.cnpq.br/1562357566810393Santos, Celso Alberto Saibelhttp://lattes.cnpq.br/7614206164174151Soares, Luiz Fernando Gomeshttp://lattes.cnpq.br/2126584242026703Souza Filho, Guido Lemos de2014-12-17T14:55:05Z2013-02-072014-12-17T14:55:05Z2012-09-14ARAÚJO, Tiago Maritan Ugulino de. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. 197 f. Tese (Doutorado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2012.https://repositorio.ufrn.br/jspui/handle/123456789/15190Deaf people have serious difficulties to access information. The support for sign languages is rarely addressed in Information and Communication Technologies (ICT). Furthermore, in scientific literature, there is a lack of works related to machine translation for sign languages in real-time and open-domain scenarios, such as TV. To minimize these problems, in this work, we propose a solution for automatic generation of Brazilian Sign Language (LIBRAS) video tracks into captioned digital multimedia contents. These tracks are generated from a real-time machine translation strategy, which performs the translation from a Brazilian Portuguese subtitle stream (e.g., a movie subtitle or a closed caption stream). Furthermore, the proposed solution is open-domain and has a set of mechanisms that exploit human computation to generate and maintain their linguistic constructions. Some implementations of the proposed solution were developed for digital TV, Web and Digital Cinema platforms, and a set of experiments with deaf users was developed to evaluate the main aspects of the solution. The results showed that the proposed solution is efficient and able to generate and embed LIBRAS tracks in real-time scenarios and is a practical and feasible alternative to reduce barriers of deaf to access information, especially when human interpreters are not availableOs surdos enfrentam sérias dificuldades para acessar informações. As Tecnologias de Informação e Comunicação (TIC) quando são desenvolvidas dificilmente levam em consideração os requisitos específicos destes usuários especiais. O suporte para línguas de sinais, por exemplo, é raramente explorado nessas tecnologias. Além disso, as soluções presentes na literatura relacionadas a tradução automática para línguas de sinais são restritas a um domínio de aplicação específico ou não são viáveis para cenários que necessitam de tradução em tempo real, como, por exemplo, na TV. Para reduzir esses problemas, neste trabalho é proposta uma solução para geração automática de trilhas em Língua Brasileira de Sinais (LIBRAS) em conteúdos digitais multimídia legendados. As trilhas de LIBRAS são geradas a partir de uma estratégia de tradução automática e em tempo real para LIBRAS, que realiza a tradução a partir de fluxos de legendas (como, por exemplo, legendas ou closed caption) em língua portuguesa. Além disso, a solução proposta é de domínio geral e dotada de um conjunto de mecanismos que exploram a colaboração e a computação humana para gerar e manter suas construções lingüísticas de forma eficiente. Implementações da solução proposta foram desenvolvidas para as plataformas de TV Digital, Web e Cinema Digital, e um conjunto de experimentos, incluindo testes com usuários surdos, foi desenvolvido para avaliar os principais aspectos da solução. Os resultados mostraram que a solução proposta é eficiente, capaz de gerar e embarcar as trilhas de LIBRAS em cenários que exigem tradução em tempo real, além de ser uma alternativa prática e viável para redução das barreiras de acesso à informação dos surdos, especialmente quando intérpretes humanos não estão disponíveisConselho Nacional de Desenvolvimento Científico e Tecnológicoapplication/pdfporUniversidade Federal do Rio Grande do NortePrograma de Pós-Graduação em Engenharia ElétricaUFRNBRAutomação e Sistemas; Engenharia de Computação; Telecomunicaçõestradução automáticalíngua brasileira de sinaisconteúdos multimídiatecnologias acessíveis para surdossíntese de sinaismachine translationbrazilian sign languagemultimedia contentsaccessibility technologies for deafsign synthesisCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAUma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídiainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALTiagoMUA_TESE.pdfapplication/pdf1442352https://repositorio.ufrn.br/bitstream/123456789/15190/1/TiagoMUA_TESE.pdfa9909ef0bb9ebf04b3cad967bbf8be1cMD51TEXTTiagoMUA_TESE.pdf.txtTiagoMUA_TESE.pdf.txtExtracted texttext/plain375006https://repositorio.ufrn.br/bitstream/123456789/15190/6/TiagoMUA_TESE.pdf.txtbcbca31920b5986af0ca816f1638f200MD56THUMBNAILTiagoMUA_TESE.pdf.jpgTiagoMUA_TESE.pdf.jpgIM Thumbnailimage/jpeg2999https://repositorio.ufrn.br/bitstream/123456789/15190/7/TiagoMUA_TESE.pdf.jpg852346150849501f56c446d1d349422cMD57123456789/151902017-11-02 07:33:42.431oai:https://repositorio.ufrn.br:123456789/15190Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2017-11-02T10:33:42Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.por.fl_str_mv |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
title |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
spellingShingle |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia Araújo, Tiago Maritan Ugulino de tradução automática língua brasileira de sinais conteúdos multimídia tecnologias acessíveis para surdos síntese de sinais machine translation brazilian sign language multimedia contents accessibility technologies for deaf sign synthesis CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
title_short |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
title_full |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
title_fullStr |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
title_full_unstemmed |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
title_sort |
Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia |
author |
Araújo, Tiago Maritan Ugulino de |
author_facet |
Araújo, Tiago Maritan Ugulino de |
author_role |
author |
dc.contributor.authorID.por.fl_str_mv |
|
dc.contributor.authorLattes.por.fl_str_mv |
http://lattes.cnpq.br/6347743344931103 |
dc.contributor.advisorID.por.fl_str_mv |
|
dc.contributor.advisorLattes.por.fl_str_mv |
http://lattes.cnpq.br/6614550860293610 |
dc.contributor.referees1.pt_BR.fl_str_mv |
Gonçalves, Luiz Marcos Garcia |
dc.contributor.referees1ID.por.fl_str_mv |
|
dc.contributor.referees1Lattes.por.fl_str_mv |
http://lattes.cnpq.br/1562357566810393 |
dc.contributor.referees2.pt_BR.fl_str_mv |
Santos, Celso Alberto Saibel |
dc.contributor.referees2ID.por.fl_str_mv |
|
dc.contributor.referees2Lattes.por.fl_str_mv |
http://lattes.cnpq.br/7614206164174151 |
dc.contributor.referees3.pt_BR.fl_str_mv |
Soares, Luiz Fernando Gomes |
dc.contributor.referees3ID.por.fl_str_mv |
|
dc.contributor.referees3Lattes.por.fl_str_mv |
http://lattes.cnpq.br/2126584242026703 |
dc.contributor.author.fl_str_mv |
Araújo, Tiago Maritan Ugulino de |
dc.contributor.advisor1.fl_str_mv |
Souza Filho, Guido Lemos de |
contributor_str_mv |
Souza Filho, Guido Lemos de |
dc.subject.por.fl_str_mv |
tradução automática língua brasileira de sinais conteúdos multimídia tecnologias acessíveis para surdos síntese de sinais |
topic |
tradução automática língua brasileira de sinais conteúdos multimídia tecnologias acessíveis para surdos síntese de sinais machine translation brazilian sign language multimedia contents accessibility technologies for deaf sign synthesis CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
dc.subject.eng.fl_str_mv |
machine translation brazilian sign language multimedia contents accessibility technologies for deaf sign synthesis |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
description |
Deaf people have serious difficulties to access information. The support for sign languages is rarely addressed in Information and Communication Technologies (ICT). Furthermore, in scientific literature, there is a lack of works related to machine translation for sign languages in real-time and open-domain scenarios, such as TV. To minimize these problems, in this work, we propose a solution for automatic generation of Brazilian Sign Language (LIBRAS) video tracks into captioned digital multimedia contents. These tracks are generated from a real-time machine translation strategy, which performs the translation from a Brazilian Portuguese subtitle stream (e.g., a movie subtitle or a closed caption stream). Furthermore, the proposed solution is open-domain and has a set of mechanisms that exploit human computation to generate and maintain their linguistic constructions. Some implementations of the proposed solution were developed for digital TV, Web and Digital Cinema platforms, and a set of experiments with deaf users was developed to evaluate the main aspects of the solution. The results showed that the proposed solution is efficient and able to generate and embed LIBRAS tracks in real-time scenarios and is a practical and feasible alternative to reduce barriers of deaf to access information, especially when human interpreters are not available |
publishDate |
2012 |
dc.date.issued.fl_str_mv |
2012-09-14 |
dc.date.available.fl_str_mv |
2013-02-07 2014-12-17T14:55:05Z |
dc.date.accessioned.fl_str_mv |
2014-12-17T14:55:05Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
ARAÚJO, Tiago Maritan Ugulino de. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. 197 f. Tese (Doutorado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2012. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/jspui/handle/123456789/15190 |
identifier_str_mv |
ARAÚJO, Tiago Maritan Ugulino de. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. 197 f. Tese (Doutorado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2012. |
url |
https://repositorio.ufrn.br/jspui/handle/123456789/15190 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Automação e Sistemas; Engenharia de Computação; Telecomunicações |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/15190/1/TiagoMUA_TESE.pdf https://repositorio.ufrn.br/bitstream/123456789/15190/6/TiagoMUA_TESE.pdf.txt https://repositorio.ufrn.br/bitstream/123456789/15190/7/TiagoMUA_TESE.pdf.jpg |
bitstream.checksum.fl_str_mv |
a9909ef0bb9ebf04b3cad967bbf8be1c bcbca31920b5986af0ca816f1638f200 852346150849501f56c446d1d349422c |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1802117776508190720 |