Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UNESP |
Texto Completo: | http://hdl.handle.net/11449/238111 |
Resumo: | Nas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões, com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são naturalmente treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. O redirecionamento de movimento facial é uma das técnicas utilizadas para gerar animações realistas, principalmente em filmes. Muitos sistemas foram desenvolvidos e consistem, de maneira geral, de uma fase de modelagem, captura de movimentos e identificação de expressões faciais, seguido de um procedimento de redirecionamento de expressões. Para o redirecionamento são aplicadas várias técnicas, onde algoritmos de cálculo de distância ou redes neurais são utilizados, fazendo com que a face final gerada no processo seja próxima a da captura. Nesse sentido, a utilização de novas técnicas é extremamente útil permitindo que a acurácia do processo e a velocidade sejam melhoradas. Considerando o contexto exposto, o presente trabalho tem como principal objetivo implementar e validar um sistema de animação facial, o qual utiliza um modelo de classificador supervisionado capaz de identificar as expressões mais comuns da face humana e redirecioná-las, de forma automática, a um modelo de face gerado a partir da combinação de um pequeno número de blendshapes (mistura de formas). Com isso, foi gerado um sistema de animação facial que, através da captura de faces com câmeras RGB e usando como referências apenas informações 2D, conseguiu gerar expressões próximas a da captura utilizando classificadores mais leves, possibilitando o uso em dispositivos acessíveis com tablets, celulares e desktops de baixo custo. |
id |
UNSP_f8842a1ba4d6e41390fdc449a365bdfb |
---|---|
oai_identifier_str |
oai:repositorio.unesp.br:11449/238111 |
network_acronym_str |
UNSP |
network_name_str |
Repositório Institucional da UNESP |
repository_id_str |
2946 |
spelling |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta AleatóriaFacial animation based on blendshapes using Optimal Path Forest and Random ForestCaptura de movimentos faciaisBlendshapesOPFAprendizado de máquinaFloresta aleatóriaFloresta de caminhos ótimosMídia e tecnologiasRetargetFacial motion captureMachine learningRandom forestOptimum path forestNas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões, com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são naturalmente treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. O redirecionamento de movimento facial é uma das técnicas utilizadas para gerar animações realistas, principalmente em filmes. Muitos sistemas foram desenvolvidos e consistem, de maneira geral, de uma fase de modelagem, captura de movimentos e identificação de expressões faciais, seguido de um procedimento de redirecionamento de expressões. Para o redirecionamento são aplicadas várias técnicas, onde algoritmos de cálculo de distância ou redes neurais são utilizados, fazendo com que a face final gerada no processo seja próxima a da captura. Nesse sentido, a utilização de novas técnicas é extremamente útil permitindo que a acurácia do processo e a velocidade sejam melhoradas. Considerando o contexto exposto, o presente trabalho tem como principal objetivo implementar e validar um sistema de animação facial, o qual utiliza um modelo de classificador supervisionado capaz de identificar as expressões mais comuns da face humana e redirecioná-las, de forma automática, a um modelo de face gerado a partir da combinação de um pequeno número de blendshapes (mistura de formas). Com isso, foi gerado um sistema de animação facial que, através da captura de faces com câmeras RGB e usando como referências apenas informações 2D, conseguiu gerar expressões próximas a da captura utilizando classificadores mais leves, possibilitando o uso em dispositivos acessíveis com tablets, celulares e desktops de baixo custo.In the last decades, the interest in capturing human face movements and identifying their expressions, in order to generate realistic facial animations, has increased, both in the scientific community and in the entertainment industry. High accuracy in this process is necessary, as humans are naturally trained to identify facial expressions, easily detecting small imperfections in the animation of a virtual face. Facial motion redirection is one of the techniques used to generate realistic animations, especially in movies. Many systems have been developed and generally consist of a modeling, motion capture and facial expression identification phase, followed by an expression redirection procedure. For the redirection, several techniques are applied, where distance calculation algorithms or neural networks are used, making the final face generated in the process close to the capture. In this sense, the use of new techniques is extremely useful, allowing the process accuracy and speed to be improved. Considering the above context, the main objective of this work is to implement and validate a facial animation system, which uses a supervised classifier model capable of identifying the most common expressions of the human face and automatically redirecting them to a face model generated from the combination of a small number of blendshapes. With this, a facial animation system was generated that, through the capture of faces with RGB cameras and using only 2D information as references, managed to generate expressions close to the capture using lighter classifiers, allowing the use in accessible devices with tablets, cell phones and low-end desktops.Universidade Estadual Paulista (Unesp)Sementille, Antonio Carlos [UNESP]Universidade Estadual Paulista (Unesp)Silva, Carlos Eduardo Rossi Cubas da2022-12-12T11:03:22Z2022-12-12T11:03:22Z2022-10-31info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttp://hdl.handle.net/11449/23811133004056092P6porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-04-22T14:43:40Zoai:repositorio.unesp.br:11449/238111Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestopendoar:29462024-08-05T21:31:50.087070Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false |
dc.title.none.fl_str_mv |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória Facial animation based on blendshapes using Optimal Path Forest and Random Forest |
title |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
spellingShingle |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória Silva, Carlos Eduardo Rossi Cubas da Captura de movimentos faciais Blendshapes OPF Aprendizado de máquina Floresta aleatória Floresta de caminhos ótimos Mídia e tecnologias Retarget Facial motion capture Machine learning Random forest Optimum path forest |
title_short |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
title_full |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
title_fullStr |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
title_full_unstemmed |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
title_sort |
Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória |
author |
Silva, Carlos Eduardo Rossi Cubas da |
author_facet |
Silva, Carlos Eduardo Rossi Cubas da |
author_role |
author |
dc.contributor.none.fl_str_mv |
Sementille, Antonio Carlos [UNESP] Universidade Estadual Paulista (Unesp) |
dc.contributor.author.fl_str_mv |
Silva, Carlos Eduardo Rossi Cubas da |
dc.subject.por.fl_str_mv |
Captura de movimentos faciais Blendshapes OPF Aprendizado de máquina Floresta aleatória Floresta de caminhos ótimos Mídia e tecnologias Retarget Facial motion capture Machine learning Random forest Optimum path forest |
topic |
Captura de movimentos faciais Blendshapes OPF Aprendizado de máquina Floresta aleatória Floresta de caminhos ótimos Mídia e tecnologias Retarget Facial motion capture Machine learning Random forest Optimum path forest |
description |
Nas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões, com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são naturalmente treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. O redirecionamento de movimento facial é uma das técnicas utilizadas para gerar animações realistas, principalmente em filmes. Muitos sistemas foram desenvolvidos e consistem, de maneira geral, de uma fase de modelagem, captura de movimentos e identificação de expressões faciais, seguido de um procedimento de redirecionamento de expressões. Para o redirecionamento são aplicadas várias técnicas, onde algoritmos de cálculo de distância ou redes neurais são utilizados, fazendo com que a face final gerada no processo seja próxima a da captura. Nesse sentido, a utilização de novas técnicas é extremamente útil permitindo que a acurácia do processo e a velocidade sejam melhoradas. Considerando o contexto exposto, o presente trabalho tem como principal objetivo implementar e validar um sistema de animação facial, o qual utiliza um modelo de classificador supervisionado capaz de identificar as expressões mais comuns da face humana e redirecioná-las, de forma automática, a um modelo de face gerado a partir da combinação de um pequeno número de blendshapes (mistura de formas). Com isso, foi gerado um sistema de animação facial que, através da captura de faces com câmeras RGB e usando como referências apenas informações 2D, conseguiu gerar expressões próximas a da captura utilizando classificadores mais leves, possibilitando o uso em dispositivos acessíveis com tablets, celulares e desktops de baixo custo. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-12-12T11:03:22Z 2022-12-12T11:03:22Z 2022-10-31 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/11449/238111 33004056092P6 |
url |
http://hdl.handle.net/11449/238111 |
identifier_str_mv |
33004056092P6 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNESP instname:Universidade Estadual Paulista (UNESP) instacron:UNESP |
instname_str |
Universidade Estadual Paulista (UNESP) |
instacron_str |
UNESP |
institution |
UNESP |
reponame_str |
Repositório Institucional da UNESP |
collection |
Repositório Institucional da UNESP |
repository.name.fl_str_mv |
Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP) |
repository.mail.fl_str_mv |
|
_version_ |
1808129331749191680 |