Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/jspui/handle/123456789/28616 |
Resumo: | A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real. |
id |
UFRN_4df86dac0e258366aff9a7f9d2b3de47 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/28616 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Campos, Virginia PintoGomes, Rafael BeserraSilva, Bruno Marques Ferreira daReis, Ney Robinson Salvi dosAraújo, Tiago Maritan Ugulino deGonçalves, Luiz Marcos Garcia2020-03-20T19:18:15Z2020-03-20T19:18:15Z2019-11-28CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.https://repositorio.ufrn.br/jspui/handle/123456789/28616A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real.Audio description is an accessibility feature designed to make visual information accessible to blind or low vision people. To increase the range of audio description tracks in digital video applications, we propose a system for automatic audio description generation of videos. The system can use as source of information about the film the original script or the video itself. As a proof of concept, we developed a prototype that automatically generates audio description based on actions taken from the script and objects recognized in the video. The experiments contemplated the application of the solution in fiction films and surveillance videos. For fiction films, an evaluation was made with blind people. The results indicated that through the automatic audio description generated by the solution, it was possible to provide contextual information that can help the user in the general understanding of the story. For surveillance videos, a performance evaluation was made using the delay time of each component. Results indicate that a solution has the potential to be used in contexts that require real-time AD.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAAcessibilidadeAudiodescriçãoDescrição de vídeoAprendizado profundoGeração automáticaSistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisPROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALSistemageracaoautomatica_Campos_2019.pdfapplication/pdf5474800https://repositorio.ufrn.br/bitstream/123456789/28616/1/Sistemageracaoautomatica_Campos_2019.pdf7cc07e8bed24b1f108ea2b81a1c8f65eMD51TEXTSistemageracaoautomatica_Campos_2019.pdf.txtSistemageracaoautomatica_Campos_2019.pdf.txtExtracted texttext/plain215178https://repositorio.ufrn.br/bitstream/123456789/28616/2/Sistemageracaoautomatica_Campos_2019.pdf.txt6339a088ce74e1fafa492a1c9043d28dMD52THUMBNAILSistemageracaoautomatica_Campos_2019.pdf.jpgSistemageracaoautomatica_Campos_2019.pdf.jpgGenerated Thumbnailimage/jpeg1471https://repositorio.ufrn.br/bitstream/123456789/28616/3/Sistemageracaoautomatica_Campos_2019.pdf.jpgb1898a2a86e36c12b041f04bc30f94a8MD53123456789/286162020-03-22 04:46:55.593oai:https://repositorio.ufrn.br:123456789/28616Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2020-03-22T07:46:55Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
title |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
spellingShingle |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo Campos, Virginia Pinto CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Acessibilidade Audiodescrição Descrição de vídeo Aprendizado profundo Geração automática |
title_short |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
title_full |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
title_fullStr |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
title_full_unstemmed |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
title_sort |
Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo |
author |
Campos, Virginia Pinto |
author_facet |
Campos, Virginia Pinto |
author_role |
author |
dc.contributor.authorID.pt_BR.fl_str_mv |
|
dc.contributor.advisorID.pt_BR.fl_str_mv |
|
dc.contributor.referees1.none.fl_str_mv |
Gomes, Rafael Beserra |
dc.contributor.referees1ID.pt_BR.fl_str_mv |
|
dc.contributor.referees2.none.fl_str_mv |
Silva, Bruno Marques Ferreira da |
dc.contributor.referees2ID.pt_BR.fl_str_mv |
|
dc.contributor.referees3.none.fl_str_mv |
Reis, Ney Robinson Salvi dos |
dc.contributor.referees3ID.pt_BR.fl_str_mv |
|
dc.contributor.referees4.none.fl_str_mv |
Araújo, Tiago Maritan Ugulino de |
dc.contributor.referees4ID.pt_BR.fl_str_mv |
|
dc.contributor.author.fl_str_mv |
Campos, Virginia Pinto |
dc.contributor.advisor1.fl_str_mv |
Gonçalves, Luiz Marcos Garcia |
contributor_str_mv |
Gonçalves, Luiz Marcos Garcia |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Acessibilidade Audiodescrição Descrição de vídeo Aprendizado profundo Geração automática |
dc.subject.por.fl_str_mv |
Acessibilidade Audiodescrição Descrição de vídeo Aprendizado profundo Geração automática |
description |
A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real. |
publishDate |
2019 |
dc.date.issued.fl_str_mv |
2019-11-28 |
dc.date.accessioned.fl_str_mv |
2020-03-20T19:18:15Z |
dc.date.available.fl_str_mv |
2020-03-20T19:18:15Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/jspui/handle/123456789/28616 |
identifier_str_mv |
CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019. |
url |
https://repositorio.ufrn.br/jspui/handle/123456789/28616 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.program.fl_str_mv |
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/28616/1/Sistemageracaoautomatica_Campos_2019.pdf https://repositorio.ufrn.br/bitstream/123456789/28616/2/Sistemageracaoautomatica_Campos_2019.pdf.txt https://repositorio.ufrn.br/bitstream/123456789/28616/3/Sistemageracaoautomatica_Campos_2019.pdf.jpg |
bitstream.checksum.fl_str_mv |
7cc07e8bed24b1f108ea2b81a1c8f65e 6339a088ce74e1fafa492a1c9043d28d b1898a2a86e36c12b041f04bc30f94a8 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1802117810167480320 |