Facial expression recognition using deep learning - convolutional neural network

Detalhes bibliográficos
Autor(a) principal: Lopes, André Teixeira
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
Texto Completo: http://repositorio.ufes.br/handle/10/4301
Resumo: Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers.
id UFES_d843f1370ee588fda1985d980b3b5535
oai_identifier_str oai:repositorio.ufes.br:10/4301
network_acronym_str UFES
network_name_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository_id_str 2108
spelling Aguiar, Edilson deSantos, Thiago Oliveira dosLopes, André TeixeiraGoldenstein, Siome KleinSouza, Alberto Ferreira de2016-08-29T15:33:24Z2016-07-112016-08-29T15:33:24Z2016-03-03Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers.O reconhecimento de expressões faciais tem sido uma área de pesquisa ativa nos últimos dez anos, com áreas de aplicação em crescimento, como animação de personagens, neuro-marketing e robôs sociáveis. O reconhecimento de uma expressão facial não é um problema fácil para métodos de aprendizagem de máquina, dado que pessoas diferentes podem variar na forma com que mostram suas expressões. Até imagens da mesma pessoa em uma expressão especí ca podem variar em brilho, cor de fundo e posição. Portanto, reconhecer expressões faciais ainda é um problema desa ador. Para resolver esses problemas, nesse trabalho nós propomos um sistema de reconhecimento de expressões faciais que usa redes neurais convolucionais. Geração sintética de dados e diferentes operações de pré-processamento foram estudadas em conjunto com várias arquiteturas de redes neurais convolucionais. A geração sintética de dados e as etapas de pré-processamento foram usadas para ajudar a rede na seleção de características. Experimentos foram executados em três bancos de dados largamente utilizados (Cohn-Kanade, JAFFE, e BU3DFE) e foram feitas validações entre bancos de dados(i.e., treinar em um banco de dados e testar em outro). A abordagem proposta mostrou ser muito efetiva, melhorando os resultados do estado-da-arte na literatura e permitindo o reconhecimento de expressões faciais em tempo real com computadores padrões.CAPESTextLOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.http://repositorio.ufes.br/handle/10/4301engUniversidade Federal do Espírito SantoMestrado em InformáticaPrograma de Pós-Graduação em InformáticaUFESBRCentro TecnológicoConvolutional neural networksComputer visionMachine learningExpression specific featuresDeep learningAprendizagem profunda (Computação)Redes convolucionaisVisão computacionalAprendizagem de máquinaCaracterísticas específicas de expressõesRedes neurais (Computação)Visão por computadorAprendizado do computadorReconhecimento facial (Computação)Expressão facialInteligência artificialCiência da Computação004Facial expression recognition using deep learning - convolutional neural networkinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESCAPESORIGINALDissertacao(1)20160411-102533.pdfapplication/pdf9277551http://repositorio.ufes.br/bitstreams/7a0beb7d-20c8-48d4-986c-5f13ae838c37/downloadc18df10308db5314d25f9eb1543445b3MD5110/43012024-06-28 16:11:08.817oai:repositorio.ufes.br:10/4301http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-06-28T16:11:08Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false
dc.title.none.fl_str_mv Facial expression recognition using deep learning - convolutional neural network
title Facial expression recognition using deep learning - convolutional neural network
spellingShingle Facial expression recognition using deep learning - convolutional neural network
Lopes, André Teixeira
Convolutional neural networks
Computer vision
Machine learning
Expression specific features
Deep learning
Aprendizagem profunda (Computação)
Redes convolucionais
Visão computacional
Aprendizagem de máquina
Características específicas de expressões
Ciência da Computação
Redes neurais (Computação)
Visão por computador
Aprendizado do computador
Reconhecimento facial (Computação)
Expressão facial
Inteligência artificial
004
title_short Facial expression recognition using deep learning - convolutional neural network
title_full Facial expression recognition using deep learning - convolutional neural network
title_fullStr Facial expression recognition using deep learning - convolutional neural network
title_full_unstemmed Facial expression recognition using deep learning - convolutional neural network
title_sort Facial expression recognition using deep learning - convolutional neural network
author Lopes, André Teixeira
author_facet Lopes, André Teixeira
author_role author
dc.contributor.advisor-co1.fl_str_mv Aguiar, Edilson de
dc.contributor.advisor1.fl_str_mv Santos, Thiago Oliveira dos
dc.contributor.author.fl_str_mv Lopes, André Teixeira
dc.contributor.referee1.fl_str_mv Goldenstein, Siome Klein
dc.contributor.referee2.fl_str_mv Souza, Alberto Ferreira de
contributor_str_mv Aguiar, Edilson de
Santos, Thiago Oliveira dos
Goldenstein, Siome Klein
Souza, Alberto Ferreira de
dc.subject.eng.fl_str_mv Convolutional neural networks
Computer vision
Machine learning
Expression specific features
Deep learning
topic Convolutional neural networks
Computer vision
Machine learning
Expression specific features
Deep learning
Aprendizagem profunda (Computação)
Redes convolucionais
Visão computacional
Aprendizagem de máquina
Características específicas de expressões
Ciência da Computação
Redes neurais (Computação)
Visão por computador
Aprendizado do computador
Reconhecimento facial (Computação)
Expressão facial
Inteligência artificial
004
dc.subject.por.fl_str_mv Aprendizagem profunda (Computação)
Redes convolucionais
Visão computacional
Aprendizagem de máquina
Características específicas de expressões
dc.subject.cnpq.fl_str_mv Ciência da Computação
dc.subject.br-rjbn.none.fl_str_mv Redes neurais (Computação)
Visão por computador
Aprendizado do computador
Reconhecimento facial (Computação)
Expressão facial
Inteligência artificial
dc.subject.udc.none.fl_str_mv 004
description Facial expression recognition has been an active research area in the past ten years, with growing application areas such avatar animation, neuromarketing and sociable robots. The recognition of facial expressions is not an easy problem for machine learning methods, since people can vary signi cantly in the way that they show their expressions. Even images of the same person in one expression can vary in brightness, background and position. Hence, facial expression recognition is still a challenging problem. To address these problems, in this work we propose a facial expression recognition system that uses Convolutional Neural Networks. Data augmentation and di erent preprocessing steps were studied together with various Convolutional Neural Networks architectures. The data augmentation and pre-processing steps were used to help the network on the feature selection. Experiments were carried out with three largely used databases (Cohn-Kanade, JAFFE, and BU3DFE) and cross-database validations (i.e. training in one database and test in another) were also performed. The proposed approach has shown to be very e ective, improving the state-of-the-art results in the literature and allowing real time facial expression recognition with standard PC computers.
publishDate 2016
dc.date.accessioned.fl_str_mv 2016-08-29T15:33:24Z
dc.date.available.fl_str_mv 2016-07-11
2016-08-29T15:33:24Z
dc.date.issued.fl_str_mv 2016-03-03
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv LOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.
dc.identifier.uri.fl_str_mv http://repositorio.ufes.br/handle/10/4301
identifier_str_mv LOPES, André Teixeira. Facial expression recognition using deep learning - convolutional neural network. 2016. 90 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.
url http://repositorio.ufes.br/handle/10/4301
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv Text
dc.publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Mestrado em Informática
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Informática
dc.publisher.initials.fl_str_mv UFES
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Centro Tecnológico
publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Mestrado em Informática
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
instname:Universidade Federal do Espírito Santo (UFES)
instacron:UFES
instname_str Universidade Federal do Espírito Santo (UFES)
instacron_str UFES
institution UFES
reponame_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
collection Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
bitstream.url.fl_str_mv http://repositorio.ufes.br/bitstreams/7a0beb7d-20c8-48d4-986c-5f13ae838c37/download
bitstream.checksum.fl_str_mv c18df10308db5314d25f9eb1543445b3
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)
repository.mail.fl_str_mv
_version_ 1804309214074503168