Facial expression recognition using deep learning - convolutional neural network
Autor(a) principal: | |
---|---|
Data de Publicação: | 2016 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
Texto Completo: | http://repositorio.ufes.br/handle/10/4301 |
Resumo: | Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers. |
id |
UFES_d843f1370ee588fda1985d980b3b5535 |
---|---|
oai_identifier_str |
oai:repositorio.ufes.br:10/4301 |
network_acronym_str |
UFES |
network_name_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
repository_id_str |
2108 |
spelling |
Aguiar, Edilson deSantos, Thiago Oliveira dosLopes, André TeixeiraGoldenstein, Siome KleinSouza, Alberto Ferreira de2016-08-29T15:33:24Z2016-07-112016-08-29T15:33:24Z2016-03-03Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers.O reconhecimento de expressões faciais tem sido uma área de pesquisa ativa nos últimos dez anos, com áreas de aplicação em crescimento, como animação de personagens, neuro-marketing e robôs sociáveis. O reconhecimento de uma expressão facial não é um problema fácil para métodos de aprendizagem de máquina, dado que pessoas diferentes podem variar na forma com que mostram suas expressões. Até imagens da mesma pessoa em uma expressão especí ca podem variar em brilho, cor de fundo e posição. Portanto, reconhecer expressões faciais ainda é um problema desa ador. Para resolver esses problemas, nesse trabalho nós propomos um sistema de reconhecimento de expressões faciais que usa redes neurais convolucionais. Geração sintética de dados e diferentes operações de pré-processamento foram estudadas em conjunto com várias arquiteturas de redes neurais convolucionais. A geração sintética de dados e as etapas de pré-processamento foram usadas para ajudar a rede na seleção de características. Experimentos foram executados em três bancos de dados largamente utilizados (Cohn-Kanade, JAFFE, e BU3DFE) e foram feitas validações entre bancos de dados(i.e., treinar em um banco de dados e testar em outro). A abordagem proposta mostrou ser muito efetiva, melhorando os resultados do estado-da-arte na literatura e permitindo o reconhecimento de expressões faciais em tempo real com computadores padrões.CAPESTextLOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.http://repositorio.ufes.br/handle/10/4301engUniversidade Federal do Espírito SantoMestrado em InformáticaPrograma de Pós-Graduação em InformáticaUFESBRCentro TecnológicoConvolutional neural networksComputer visionMachine learningExpression specific featuresDeep learningAprendizagem profunda (Computação)Redes convolucionaisVisão computacionalAprendizagem de máquinaCaracterísticas específicas de expressõesRedes neurais (Computação)Visão por computadorAprendizado do computadorReconhecimento facial (Computação)Expressão facialInteligência artificialCiência da Computação004Facial expression recognition using deep learning - convolutional neural networkinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESCAPESORIGINALDissertacao(1)20160411-102533.pdfapplication/pdf9277551http://repositorio.ufes.br/bitstreams/7a0beb7d-20c8-48d4-986c-5f13ae838c37/downloadc18df10308db5314d25f9eb1543445b3MD5110/43012024-07-17 17:01:39.28oai:repositorio.ufes.br:10/4301http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T18:02:10.150277Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false |
dc.title.none.fl_str_mv |
Facial expression recognition using deep learning - convolutional neural network |
title |
Facial expression recognition using deep learning - convolutional neural network |
spellingShingle |
Facial expression recognition using deep learning - convolutional neural network Lopes, André Teixeira Convolutional neural networks Computer vision Machine learning Expression specific features Deep learning Aprendizagem profunda (Computação) Redes convolucionais Visão computacional Aprendizagem de máquina Características específicas de expressões Ciência da Computação Redes neurais (Computação) Visão por computador Aprendizado do computador Reconhecimento facial (Computação) Expressão facial Inteligência artificial 004 |
title_short |
Facial expression recognition using deep learning - convolutional neural network |
title_full |
Facial expression recognition using deep learning - convolutional neural network |
title_fullStr |
Facial expression recognition using deep learning - convolutional neural network |
title_full_unstemmed |
Facial expression recognition using deep learning - convolutional neural network |
title_sort |
Facial expression recognition using deep learning - convolutional neural network |
author |
Lopes, André Teixeira |
author_facet |
Lopes, André Teixeira |
author_role |
author |
dc.contributor.advisor-co1.fl_str_mv |
Aguiar, Edilson de |
dc.contributor.advisor1.fl_str_mv |
Santos, Thiago Oliveira dos |
dc.contributor.author.fl_str_mv |
Lopes, André Teixeira |
dc.contributor.referee1.fl_str_mv |
Goldenstein, Siome Klein |
dc.contributor.referee2.fl_str_mv |
Souza, Alberto Ferreira de |
contributor_str_mv |
Aguiar, Edilson de Santos, Thiago Oliveira dos Goldenstein, Siome Klein Souza, Alberto Ferreira de |
dc.subject.eng.fl_str_mv |
Convolutional neural networks Computer vision Machine learning Expression specific features Deep learning |
topic |
Convolutional neural networks Computer vision Machine learning Expression specific features Deep learning Aprendizagem profunda (Computação) Redes convolucionais Visão computacional Aprendizagem de máquina Características específicas de expressões Ciência da Computação Redes neurais (Computação) Visão por computador Aprendizado do computador Reconhecimento facial (Computação) Expressão facial Inteligência artificial 004 |
dc.subject.por.fl_str_mv |
Aprendizagem profunda (Computação) Redes convolucionais Visão computacional Aprendizagem de máquina Características específicas de expressões |
dc.subject.cnpq.fl_str_mv |
Ciência da Computação |
dc.subject.br-rjbn.none.fl_str_mv |
Redes neurais (Computação) Visão por computador Aprendizado do computador Reconhecimento facial (Computação) Expressão facial Inteligência artificial |
dc.subject.udc.none.fl_str_mv |
004 |
description |
Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers. |
publishDate |
2016 |
dc.date.accessioned.fl_str_mv |
2016-08-29T15:33:24Z |
dc.date.available.fl_str_mv |
2016-07-11 2016-08-29T15:33:24Z |
dc.date.issued.fl_str_mv |
2016-03-03 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
LOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016. |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufes.br/handle/10/4301 |
identifier_str_mv |
LOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016. |
url |
http://repositorio.ufes.br/handle/10/4301 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
Text |
dc.publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática |
dc.publisher.initials.fl_str_mv |
UFES |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro Tecnológico |
publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) instname:Universidade Federal do Espírito Santo (UFES) instacron:UFES |
instname_str |
Universidade Federal do Espírito Santo (UFES) |
instacron_str |
UFES |
institution |
UFES |
reponame_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
collection |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
bitstream.url.fl_str_mv |
http://repositorio.ufes.br/bitstreams/7a0beb7d-20c8-48d4-986c-5f13ae838c37/download |
bitstream.checksum.fl_str_mv |
c18df10308db5314d25f9eb1543445b3 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES) |
repository.mail.fl_str_mv |
|
_version_ |
1813022576159490048 |