Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico

Detalhes bibliográficos
Autor(a) principal: Costa, Paula Dornhofer Paro, 1978-
Data de Publicação: 2009
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/1610148
Resumo: Orientador: Jose Mario De Martino
id UNICAMP-30_ad4bb0812b0697c723d234a26c8ac6f8
oai_identifier_str oai::467350
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto foneticoSpeech synchronized 2D facial animation based on phonetic context dependent visemes imagesComputação gráficaAnimação (Cinematografia)MetamorfoseAnimação por computadorComunicação visualComputer graphicsAnimationMorphingComputer animationVisual communicationOrientador: Jose Mario De MartinoDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: A animação facial por computador sincronizada com a fala permite a implementação de cabeças virtuais que podem contribuir para tornar interfaces humano-computador mais eficientes e atraentes. O presente trabalho apresenta um método de síntese de animação facial 2D baseado em imagens cujo desenvolvimento foi guiado por dois objetivos principais: a reprodução realista da movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, e a possibilidade de implementação do método mesmo em plataformas com capacidades limitadas de processamento e memória, tais como celulares e assistentes pessoais digitais. O método desenvolvido baseia-se em uma base de imagens de visemas dependentes de contexto para o Português do Brasil e adota a técnica de metamorfose entre visemas para a síntese da animação facial. A abordagem proposta representa uma estratégia de síntese alternativa e inovadora, capaz de reproduzir a movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, a partir de uma base de apenas 34 imagens. O trabalho inclui a implementação de um sistema piloto integrado a conversor texto-fala. Adicionalmente, o método de síntese proposto é avaliado através de teste de inteligibilidade da fala. Os resultados desta avaliação indicam que a informação visual fornecida pelas animações geradas pelo sistema contribui para a inteligibilidade da fala em condições de áudio contaminado por ruído. Apesar do trabalho estar restrito ao Português do Brasil, a solução apresentada é aplicável a outras línguas. Palavras-chave: Computação Gráfica, Animação Facial, Visemas, Coarticulação, MetamorfoseAbstract: Speech synchronized facial animation allows the implementation of talking heads that potentially can improve human-computer interfaces making them more efficient and attractive. This work presentsan image based 2D facial animation synthesis method whose development was guided by two main goals: the realistic reproduction of visible speech articulatory movements, including coarticulation effects, and the possibility to implement the method also on limited processing and memory platforms, like mobile phones or personal digital assistants. The developed method is based on an image database of Brazilian Portuguese context dependent visemes and uses the morphing between visemes strategy as facial animation synthesis technique. The proposed approach represents an alternative and innovative synthesis strategy, capable of reproducing the visible speech articulatory movements, including coarticulation effects, from an image database of just 34 images. This work includes the implementation of a pilot system integrated to a text-to-speech synthesizer. Additionally, the proposed synthesis method is evaluated through a speech intelligibility test. The test results indicate that the animations generated by the system contribute to improve speech intelligibility when audio is degraded by noise. Despite the fact this work is restricted to Brazilian Portuguese, the presented solution is applicable to other languages. Keywords: Computer Graphics, Facial Animation, Visemes, Coarticulation, MorphingMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica[s.n.]De Martino, José Mário, 1958-Gomes, Leandro de Campos TeixeiraLotufo, Roberto de AlencarUniversidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de ComputaçãoPrograma de Pós-Graduação em Engenharia ElétricaUNIVERSIDADE ESTADUAL DE CAMPINASCosta, Paula Dornhofer Paro, 1978-2009info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf100 p. : il.https://hdl.handle.net/20.500.12733/1610148COSTA, Paula Dornhofer Paro. Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico. 2009. 100 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1610148. Acesso em: 3 set. 2024.https://repositorio.unicamp.br/acervo/detalhe/467350porreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2017-02-18T05:37:52Zoai::467350Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2017-02-18T05:37:52Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
Speech synchronized 2D facial animation based on phonetic context dependent visemes images
title Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
spellingShingle Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
Costa, Paula Dornhofer Paro, 1978-
Computação gráfica
Animação (Cinematografia)
Metamorfose
Animação por computador
Comunicação visual
Computer graphics
Animation
Morphing
Computer animation
Visual communication
title_short Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
title_full Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
title_fullStr Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
title_full_unstemmed Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
title_sort Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico
author Costa, Paula Dornhofer Paro, 1978-
author_facet Costa, Paula Dornhofer Paro, 1978-
author_role author
dc.contributor.none.fl_str_mv De Martino, José Mário, 1958-
Gomes, Leandro de Campos Teixeira
Lotufo, Roberto de Alencar
Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação
Programa de Pós-Graduação em Engenharia Elétrica
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Costa, Paula Dornhofer Paro, 1978-
dc.subject.por.fl_str_mv Computação gráfica
Animação (Cinematografia)
Metamorfose
Animação por computador
Comunicação visual
Computer graphics
Animation
Morphing
Computer animation
Visual communication
topic Computação gráfica
Animação (Cinematografia)
Metamorfose
Animação por computador
Comunicação visual
Computer graphics
Animation
Morphing
Computer animation
Visual communication
description Orientador: Jose Mario De Martino
publishDate 2009
dc.date.none.fl_str_mv 2009
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/1610148
COSTA, Paula Dornhofer Paro. Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico. 2009. 100 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1610148. Acesso em: 3 set. 2024.
url https://hdl.handle.net/20.500.12733/1610148
identifier_str_mv COSTA, Paula Dornhofer Paro. Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonetico. 2009. 100 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1610148. Acesso em: 3 set. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/467350
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
100 p. : il.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1809189013043544064

Registros relacionados