Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment

Detalhes bibliográficos
Autor(a) principal: Gonçalves, Diego Addan, 1985-
Data de Publicação: 2019
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/60182
Resumo: Orientador: Eduardo Todt
id UFPR_d1d989976820414617c1ea82c0c81a7d
oai_identifier_str oai:acervodigital.ufpr.br:1884/60182
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Gonçalves, Diego Addan, 1985-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaTodt, Eduardo, 1963-2019-05-08T12:50:21Z2019-05-08T12:50:21Z2019https://hdl.handle.net/1884/60182Orientador: Eduardo TodtTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 20/02/2019Inclui referências: p.86-97Área de concentração: Ciência da ComputaçãoResumo: Formalmente reconhecida como segunda lingua oficial brasileira, a BSL, ou Libras, conta hoje com muitas aplicacoes computacionais que integram a comunidade surda nas atividades cotidianas, oferecendo interpretes virtuais representados por avatares 3D construidos utilizando modelos formais que parametrizam as caracteristicas especificas das linguas de sinais. Estas aplicacoes, contudo, ainda consideram expressoes faciais como recurso de segundo plano em uma lingua primariamente gestual, ignorando a importancia que expressoes faciais e emocoes imprimem no contexto da mensagem transmitida. Neste trabalho, a fim de definir um modelo facial parametrizado para uso em linguas de sinais, um sistema de sintese de expressoes faciais atraves de um avatar 3D e proposto e um prototipo implementado. Neste sentido, um modelo de landmarks faciais separado por regioes e definido assim como uma modelagem de expressoes base utilizando as bases faciais AKDEF e JAFEE como referencia. Com este sistema e possivel representar expressoes complexas utilizando interpolacao dos valores de intensidade na animacao geometrica, de forma simplificada utilizando controle por centroides e deslocamento de regioes independentes no modelo 3D. E proposto ainda uma aplicacao de modelo espaco-temporal para os landmarks faciais, com o objetivo de observar o comportamento e relacao dos centroides na sintese das expressoes base definindo quais pontos geometricos sao relevantes no processo de interpolacao e animacao das expressoes. Um sistema de exportacao dos dados faciais seguindo o formato hierarquico utilizado na maioria dos avatares 3D interpretes de linguas de sinais e desenvolvido, incentivando a integracao em modelos formais computacionais ja existentes na literatura, permitindo ainda a adaptacao e alteracao de valores e intensidades na representacao das emocoes. Assim, os modelos e conceitos apresentados propoe a integracao de um modeo facial para representacao de expressoes na sintese de sinais oferecendo uma proposta simplificada e otimizada para aplicacao dos recursos em avatares 3D. Palavras-chave: Avatar 3D, Dados Espaco-Temporal, Libras, Lingua de sinais, Expressoes Faciais.Abstract: Formally recognized as the second official Brazilian language, BSL, or Libras, today has many computational applications that integrate the deaf community into daily activities, offering virtual interpreters represented by 3D avatars built using formal models that parameterize the specific characteristics of sign languages. These applications, however, still consider facial expressions as a background feature in a primarily gestural language, ignoring the importance that facial expressions and emotions imprint on the context of the transmitted message. In this work, in order to define a parametrized facial model for use in sign languages, a system of synthesis of facial expressions through a 3D avatar is proposed and a prototype implemented. In this way, a model of facial landmarks separated by regions is defined as a modeling of base expressions using the AKDEF and JAFEE facial bases as a reference. With this system it is possible to represent complex expressions using interpolation of the intensity values in the geometric animation, in a simplified way using control by centroids and displacement of independent regions in the 3D model. A spatial-temporal model is proposed for the facial landmarks, with the objective of define the behavior and relation of the centroids in the synthesis of the basic expressions, pointing out which geometric landmark are relevant in the process of interpolation and animation of the expressions. A system for exporting facial data following the hierarchical format used in most avatars 3D sign language interpreters is developed, encouraging the integration in formal computer models already existent in the literature, also allowing the adaptation and change of values and intensities in the representation of the emotions. Thus, the models and concepts presented propose the integration of a facial model to represent expressions in the synthesis of signals offering a simplified and optimized proposal for the application of the resources in 3D avatars. Keywords: 3D Avatar, Spatio-Temporal Data, BSL, Sign Language, Facial Expression.100 p. : il. (algumas color.).application/pdfLíngua brasileira de sinaisCiência da ComputaçãoExpressão facialInteligência artificialSpatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environmentinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - DIEGO ADDAN GONCALVES.pdfapplication/pdf5718065https://acervodigital.ufpr.br/bitstream/1884/60182/1/R%20-%20T%20-%20DIEGO%20ADDAN%20GONCALVES.pdfe36117cf5c4e41778b3d8e9952d2fb4bMD51open access1884/601822019-05-08 09:50:21.285open accessoai:acervodigital.ufpr.br:1884/60182Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082019-05-08T12:50:21Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
title Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
spellingShingle Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
Gonçalves, Diego Addan, 1985-
Língua brasileira de sinais
Ciência da Computação
Expressão facial
Inteligência artificial
title_short Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
title_full Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
title_fullStr Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
title_full_unstemmed Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
title_sort Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment
author Gonçalves, Diego Addan, 1985-
author_facet Gonçalves, Diego Addan, 1985-
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Gonçalves, Diego Addan, 1985-
dc.contributor.advisor1.fl_str_mv Todt, Eduardo, 1963-
contributor_str_mv Todt, Eduardo, 1963-
dc.subject.por.fl_str_mv Língua brasileira de sinais
Ciência da Computação
Expressão facial
Inteligência artificial
topic Língua brasileira de sinais
Ciência da Computação
Expressão facial
Inteligência artificial
description Orientador: Eduardo Todt
publishDate 2019
dc.date.accessioned.fl_str_mv 2019-05-08T12:50:21Z
dc.date.available.fl_str_mv 2019-05-08T12:50:21Z
dc.date.issued.fl_str_mv 2019
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/60182
url https://hdl.handle.net/1884/60182
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 100 p. : il. (algumas color.).
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/60182/1/R%20-%20T%20-%20DIEGO%20ADDAN%20GONCALVES.pdf
bitstream.checksum.fl_str_mv e36117cf5c4e41778b3d8e9952d2fb4b
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1813898712976457728

Registros relacionados