Redes neurais convolucionais para análise de expressões faciais

Detalhes bibliográficos
Autor(a) principal: Batista, Júlio César, 1992-
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/57473
Resumo: Orientador: Luciano Silva
id UFPR_807a587a3306ce288b6b7efffd22fe2f
oai_identifier_str oai:acervodigital.ufpr.br:1884/57473
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Batista, Júlio César, 1992-Bellon, Olga Regina Pereira, 1962-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaSilva, Luciano2018-10-29T12:07:44Z2018-10-29T12:07:44Z2018https://hdl.handle.net/1884/57473Orientador: Luciano SilvaCoorientadora: Olga R. P. BellonDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 31/08/2018Inclui referências: p.40-43Área de concentração: Ciência da ComputaçãoResumo: Este trabalho propõe uma rede neural convolucional (CNN) para efetuar a detecção e estimativa de intensidade de Action Units (AUs), de forma simultânea, em imagens de faces em poses arbitrárias. Na literatura existem vários métodos para detectar e estimar intensidades de AUs, entretanto, poucos lidam com as variações na pose e levam em consideração a correlação entre os AUs e as intensidades. Ainda, ao considerar a inferência conjunta surge o problema de desequilíbrio entre a quantidade de anotações para cada classe, o que dificulta o processo de otimização e generalização. Porém, é necessário lidar com essas restrições para que esses métodos possam ser utilizados em ambientes não controlados. Outro detalhe que dificulta a generalização para esses ambientes é a falta de bases de imagens anotadas. Nesse caso, é possível estender bases com modelos 3D para gerar poses arbitrárias de forma sintética assim como feito no Facial Expression Analysis and Recognition Challenge (FERA) 2017. Portanto, utilizando uma base de poses sintéticas, este trabalho propõe um modelo baseado em uma CNN, chamado AUMPNet, e aprendizado multi-tarefa para detectar e estimar a intensidade de AUs. Além do modelo para inferência conjunta, também é demonstrada uma abordagem para diminuir o desequilíbrio entre as intensidades dos AUs durante a otimização. O desempenho do modelo proposto, utilizando as bases do FERA 2015 e FERA 2017, é similar ao estado-da-arte, sendo superior para algumas AUs individualmente. Palavras-chave: análise de expressões faciais, visão computacional, redes neurais convolucionais.Abstract: This work presents a convolutional neural network (CNN) for joint Action Unit (AU) detection and intensity estimation on images of face in arbitrary head poses. There are a variety of approaches for AU detection and intensity estimation, however, few of them take into account head pose variations and the correlations among AUs and their intensities. Still, the problem of class imbalance appears when considering the joint inference of AUs, making optimization and generalization harder. Though, it is required to cope with these constraints in order to apply these methods in unconstrained environments. Another difficulty is the lack of labelled images in these conditions. In this case, it is possible to extend existing databases of 3D models to produce synthetic images in arbitrary head poses as in Facial Expression Recognition and Analysis Challenge (FERA) 2017. Thus, by using this database of synthetic head poses this work proposes a multi-task CNN based model, called AUMPNet, to detect AUs and estimate their intensity. Moreover, an approach to handle class imbalance among AUs during optimization is shown. The proposed model, when applied on the FERA 2015 and FERA 2017 databases, achieves average results comparable to the state-of-the-art, and surpasses them for some AUs individually. Keywords: facial expression analysis, computer vision, convolutional neural networks.43 p. : il. (algumas color.).application/pdfRedes neurais (Computação)Ciência da ComputaçãoExpressão facialImagens digitaisTesesRedes neurais convolucionais para análise de expressões faciaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - D - JULIO CESAR BATISTA.pdfapplication/pdf2853054https://acervodigital.ufpr.br/bitstream/1884/57473/1/R%20-%20D%20-%20JULIO%20CESAR%20BATISTA.pdf6ec80fa7e8d4b73963897db9736ad5d0MD51open access1884/574732018-10-29 09:07:44.401open accessoai:acervodigital.ufpr.br:1884/57473Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082018-10-29T12:07:44Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Redes neurais convolucionais para análise de expressões faciais
title Redes neurais convolucionais para análise de expressões faciais
spellingShingle Redes neurais convolucionais para análise de expressões faciais
Batista, Júlio César, 1992-
Redes neurais (Computação)
Ciência da Computação
Expressão facial
Imagens digitais
Teses
title_short Redes neurais convolucionais para análise de expressões faciais
title_full Redes neurais convolucionais para análise de expressões faciais
title_fullStr Redes neurais convolucionais para análise de expressões faciais
title_full_unstemmed Redes neurais convolucionais para análise de expressões faciais
title_sort Redes neurais convolucionais para análise de expressões faciais
author Batista, Júlio César, 1992-
author_facet Batista, Júlio César, 1992-
author_role author
dc.contributor.other.pt_BR.fl_str_mv Bellon, Olga Regina Pereira, 1962-
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Batista, Júlio César, 1992-
dc.contributor.advisor1.fl_str_mv Silva, Luciano
contributor_str_mv Silva, Luciano
dc.subject.por.fl_str_mv Redes neurais (Computação)
Ciência da Computação
Expressão facial
Imagens digitais
Teses
topic Redes neurais (Computação)
Ciência da Computação
Expressão facial
Imagens digitais
Teses
description Orientador: Luciano Silva
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-10-29T12:07:44Z
dc.date.available.fl_str_mv 2018-10-29T12:07:44Z
dc.date.issued.fl_str_mv 2018
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/57473
url https://hdl.handle.net/1884/57473
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 43 p. : il. (algumas color.).
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/57473/1/R%20-%20D%20-%20JULIO%20CESAR%20BATISTA.pdf
bitstream.checksum.fl_str_mv 6ec80fa7e8d4b73963897db9736ad5d0
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860341708095488

Registros relacionados