Redes neurais convolucionais para análise de expressões faciais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPR |
Texto Completo: | https://hdl.handle.net/1884/57473 |
Resumo: | Orientador: Luciano Silva |
id |
UFPR_807a587a3306ce288b6b7efffd22fe2f |
---|---|
oai_identifier_str |
oai:acervodigital.ufpr.br:1884/57473 |
network_acronym_str |
UFPR |
network_name_str |
Repositório Institucional da UFPR |
repository_id_str |
308 |
spelling |
Batista, Júlio César, 1992-Bellon, Olga Regina Pereira, 1962-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaSilva, Luciano2018-10-29T12:07:44Z2018-10-29T12:07:44Z2018https://hdl.handle.net/1884/57473Orientador: Luciano SilvaCoorientadora: Olga R. P. BellonDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 31/08/2018Inclui referências: p.40-43Área de concentração: Ciência da ComputaçãoResumo: Este trabalho propõe uma rede neural convolucional (CNN) para efetuar a detecção e estimativa de intensidade de Action Units (AUs), de forma simultânea, em imagens de faces em poses arbitrárias. Na literatura existem vários métodos para detectar e estimar intensidades de AUs, entretanto, poucos lidam com as variações na pose e levam em consideração a correlação entre os AUs e as intensidades. Ainda, ao considerar a inferência conjunta surge o problema de desequilíbrio entre a quantidade de anotações para cada classe, o que dificulta o processo de otimização e generalização. Porém, é necessário lidar com essas restrições para que esses métodos possam ser utilizados em ambientes não controlados. Outro detalhe que dificulta a generalização para esses ambientes é a falta de bases de imagens anotadas. Nesse caso, é possível estender bases com modelos 3D para gerar poses arbitrárias de forma sintética assim como feito no Facial Expression Analysis and Recognition Challenge (FERA) 2017. Portanto, utilizando uma base de poses sintéticas, este trabalho propõe um modelo baseado em uma CNN, chamado AUMPNet, e aprendizado multi-tarefa para detectar e estimar a intensidade de AUs. Além do modelo para inferência conjunta, também é demonstrada uma abordagem para diminuir o desequilíbrio entre as intensidades dos AUs durante a otimização. O desempenho do modelo proposto, utilizando as bases do FERA 2015 e FERA 2017, é similar ao estado-da-arte, sendo superior para algumas AUs individualmente. Palavras-chave: análise de expressões faciais, visão computacional, redes neurais convolucionais.Abstract: This work presents a convolutional neural network (CNN) for joint Action Unit (AU) detection and intensity estimation on images of face in arbitrary head poses. There are a variety of approaches for AU detection and intensity estimation, however, few of them take into account head pose variations and the correlations among AUs and their intensities. Still, the problem of class imbalance appears when considering the joint inference of AUs, making optimization and generalization harder. Though, it is required to cope with these constraints in order to apply these methods in unconstrained environments. Another difficulty is the lack of labelled images in these conditions. In this case, it is possible to extend existing databases of 3D models to produce synthetic images in arbitrary head poses as in Facial Expression Recognition and Analysis Challenge (FERA) 2017. Thus, by using this database of synthetic head poses this work proposes a multi-task CNN based model, called AUMPNet, to detect AUs and estimate their intensity. Moreover, an approach to handle class imbalance among AUs during optimization is shown. The proposed model, when applied on the FERA 2015 and FERA 2017 databases, achieves average results comparable to the state-of-the-art, and surpasses them for some AUs individually. Keywords: facial expression analysis, computer vision, convolutional neural networks.43 p. : il. (algumas color.).application/pdfRedes neurais (Computação)Ciência da ComputaçãoExpressão facialImagens digitaisTesesRedes neurais convolucionais para análise de expressões faciaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - D - JULIO CESAR BATISTA.pdfapplication/pdf2853054https://acervodigital.ufpr.br/bitstream/1884/57473/1/R%20-%20D%20-%20JULIO%20CESAR%20BATISTA.pdf6ec80fa7e8d4b73963897db9736ad5d0MD51open access1884/574732018-10-29 09:07:44.401open accessoai:acervodigital.ufpr.br:1884/57473Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082018-10-29T12:07:44Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false |
dc.title.pt_BR.fl_str_mv |
Redes neurais convolucionais para análise de expressões faciais |
title |
Redes neurais convolucionais para análise de expressões faciais |
spellingShingle |
Redes neurais convolucionais para análise de expressões faciais Batista, Júlio César, 1992- Redes neurais (Computação) Ciência da Computação Expressão facial Imagens digitais Teses |
title_short |
Redes neurais convolucionais para análise de expressões faciais |
title_full |
Redes neurais convolucionais para análise de expressões faciais |
title_fullStr |
Redes neurais convolucionais para análise de expressões faciais |
title_full_unstemmed |
Redes neurais convolucionais para análise de expressões faciais |
title_sort |
Redes neurais convolucionais para análise de expressões faciais |
author |
Batista, Júlio César, 1992- |
author_facet |
Batista, Júlio César, 1992- |
author_role |
author |
dc.contributor.other.pt_BR.fl_str_mv |
Bellon, Olga Regina Pereira, 1962- Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática |
dc.contributor.author.fl_str_mv |
Batista, Júlio César, 1992- |
dc.contributor.advisor1.fl_str_mv |
Silva, Luciano |
contributor_str_mv |
Silva, Luciano |
dc.subject.por.fl_str_mv |
Redes neurais (Computação) Ciência da Computação Expressão facial Imagens digitais Teses |
topic |
Redes neurais (Computação) Ciência da Computação Expressão facial Imagens digitais Teses |
description |
Orientador: Luciano Silva |
publishDate |
2018 |
dc.date.accessioned.fl_str_mv |
2018-10-29T12:07:44Z |
dc.date.available.fl_str_mv |
2018-10-29T12:07:44Z |
dc.date.issued.fl_str_mv |
2018 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://hdl.handle.net/1884/57473 |
url |
https://hdl.handle.net/1884/57473 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
43 p. : il. (algumas color.). application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPR instname:Universidade Federal do Paraná (UFPR) instacron:UFPR |
instname_str |
Universidade Federal do Paraná (UFPR) |
instacron_str |
UFPR |
institution |
UFPR |
reponame_str |
Repositório Institucional da UFPR |
collection |
Repositório Institucional da UFPR |
bitstream.url.fl_str_mv |
https://acervodigital.ufpr.br/bitstream/1884/57473/1/R%20-%20D%20-%20JULIO%20CESAR%20BATISTA.pdf |
bitstream.checksum.fl_str_mv |
6ec80fa7e8d4b73963897db9736ad5d0 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR) |
repository.mail.fl_str_mv |
|
_version_ |
1801860341708095488 |