Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes

Detalhes bibliográficos
Autor(a) principal: Albiero, Vítor
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/56642
Resumo: Orientadora: Prof. Dra. Olga R. P. Bellon
id UFPR_991ed3af17a1840fe8f84d5183d68d40
oai_identifier_str oai:acervodigital.ufpr.br:1884/56642
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Albiero, VítorBellon, Olga Regina Pereira, 1962-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática2018-10-29T12:50:07Z2018-10-29T12:50:07Z2018https://hdl.handle.net/1884/56642Orientadora: Prof. Dra. Olga R. P. BellonDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 11/07/2018Inclui referências: p.39-41Área de concentração: Ciência da ComputaçãoResumo: Este trabalho apresenta a análise de expressões faciais através da detecção multi-label de Action Units (AUs) em múltiplas poses da cabeça. A análise de expressões faciais em múltiplas poses da cabeça é um problema que detectores robustos de AUs devem lidar, pois é incomum uma pessoa manter sempre a mesma pose ao realizar expressões faciais. Para isto, este trabalho propõe uma abordagem de region learning que cria regiões dinâmicas dentro de uma rede neural convolucional (CNN) usando pontos fiduciais faciais. As regiões dinâmicas de aprendizado (DRL) garantem que cada AU esteja no centro da região, assim como siga o movimento da pose da cabeça. A dynamic region learning foi implementada no final da rede neural convolucional VGG-Face, utilizado transfer-learning para iniciar o treinamento. Além disso, para melhorar as detecções, este trabalho explora informações temporais através de uma rede neural recorrente. Para tal, foi treinada uma rede Long-Short Term Memory (LSTM) utilizando características previamente extraídas pela DRL. Os experimentos foram conduzidos na base de dados Facial Expression Recognition and Analysis Challenge (FERA 2017), que contém nove poses diferentes, e mostram que o trabalho proposto foi capaz de se adaptar às noves poses, superando o estado da arte. Palavras-chave: aprendizado profundo, detecção de unidades de ação, análise de expressões faciais, múltiplas poses, regiões dinâmicas de aprendizado, redes neurais convolucionais, redes neurais recorrentes.Abstract: This work presents a facial expression analysis through multi-label detection of Action Units (AUs) on multiple head poses. The facial expression analysis on multiple head poses is an issue that robust AU detectors must deal with, as it is uncommon for a person to keep the same pose while performing facial expressions. To this end, this work proposes a region learning approach that creates dynamic regions of interest inside a convolutional neural network (CNN) using facial landmark points. The dynamic region learning (DRL) ensures that each AU is in the center of the region, and also follows the head pose movement. The DRL was implemented in the final part of the VGG-Face convolutional neural network, using transfer-learning to start the training. Also, to improve the detection, this work explores temporal information through a recurrent neural network. For this, a Long-Short Term Memory (LSTM) network was trained using features previously extracted by the DRL. The experiments were conducted on the Facial Expression Recognition (FERA 2017) database, which contains nine di_erent head poses, and shows that the proposed approach was able to adapt to all the head poses, surpassing the state-of-the-art. Keywords: Deep learning, action units detection, facial expression analysis, multiple head poses, dynamic regions learning, convolutional neural networks, recurrent neural networks.41 p. : il. (algumas color.).application/pdfRedes neurais (Computação)Ciência da ComputaçãoExpressão facialVisão por computadorTesesDetecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - D - VITOR ALBIERO.pdfapplication/pdf3994780https://acervodigital.ufpr.br/bitstream/1884/56642/1/R%20-%20D%20-%20VITOR%20ALBIERO.pdfe3356c5d7bf9856dac976047db502af3MD51open access1884/566422018-10-29 09:50:07.801open accessoai:acervodigital.ufpr.br:1884/56642Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082018-10-29T12:50:07Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
title Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
spellingShingle Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
Albiero, Vítor
Redes neurais (Computação)
Ciência da Computação
Expressão facial
Visão por computador
Teses
title_short Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
title_full Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
title_fullStr Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
title_full_unstemmed Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
title_sort Detecção multi-label de action units em múltiplas poses da cabeça com regiões dinâmicas de aprendizado, redes neurais convolucionais e redes neurais recorrentes
author Albiero, Vítor
author_facet Albiero, Vítor
author_role author
dc.contributor.other.pt_BR.fl_str_mv Bellon, Olga Regina Pereira, 1962-
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Albiero, Vítor
dc.subject.por.fl_str_mv Redes neurais (Computação)
Ciência da Computação
Expressão facial
Visão por computador
Teses
topic Redes neurais (Computação)
Ciência da Computação
Expressão facial
Visão por computador
Teses
description Orientadora: Prof. Dra. Olga R. P. Bellon
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-10-29T12:50:07Z
dc.date.available.fl_str_mv 2018-10-29T12:50:07Z
dc.date.issued.fl_str_mv 2018
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/56642
url https://hdl.handle.net/1884/56642
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 41 p. : il. (algumas color.).
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/56642/1/R%20-%20D%20-%20VITOR%20ALBIERO.pdf
bitstream.checksum.fl_str_mv e3356c5d7bf9856dac976047db502af3
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860249006637056

Registros relacionados