Reconhecimento de expressões faciais utilizando estimação de movimento

Detalhes bibliográficos
Autor(a) principal: SANTIAGO, Hemir da Cunha
Data de Publicação: 2017
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/24892
Resumo: As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado.
id UFPE_8afa2434f050f1c7fc5a4cec5cf16d97
oai_identifier_str oai:repositorio.ufpe.br:123456789/24892
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling SANTIAGO, Hemir da Cunhahttp://lattes.cnpq.br/7048220239665859http://lattes.cnpq.br/3084134533707587REN, Tsang Ing2018-06-25T21:40:31Z2018-06-25T21:40:31Z2017-02-07https://repositorio.ufpe.br/handle/123456789/24892As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado.Facial expressions provide information on the emotional response and play an essential role in human interaction and as a form of non-verbal communication. However, there cognition of expressions is still something considered complex for the computer. In this work, it is proposed a novel feature extractor that uses motion estimation for Facial Expression Recognition (FER). In this approach, the facial movement between two expressions is coded using an estimation of the region displacements between two images, which may be of the same face or the like. The facial expression image is compared to another more similar image in each facial expression of the training base, the best match is obtained using the Structural Similarity Index (SSIM). After identifying the most similar images in the training base, the motion vectors are calculated between the reference image and the other more similar in one of the expressions of the base. To calculate the motion vectors is proposed the MARSA (Modified Adaptive Reduction of the Search Area) algorithm. All motion vectors are compared to the coordinates with the highest occurrences of all motion vectors obtained during the training phase, from this comparison the feature vectors are generated that serve as input data for a SVM (Support Vector Machine), which will perform the classification of facial expression. Several databases of images and videos of faces reproducing facial expressions were used for the experiments, the adopted criteria for selection of the bases was the frequency which they are used in the state of the art, then were chosen: CohnKanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI, and CMU Pose, Illumination, and Expression (CMU-PIE). The experimental results demonstrate that there cognition rates of facial expressions are compatible to recent literature works proving the efficiency of the presented method.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência artificialProcessamento de imagensReconhecimento de expressões faciais utilizando estimação de movimentoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILTESE Hemir da Cunha Santiago.pdf.jpgTESE Hemir da Cunha Santiago.pdf.jpgGenerated Thumbnailimage/jpeg1255https://repositorio.ufpe.br/bitstream/123456789/24892/5/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.jpg8c195b6a6532b75fb04e6e138da35e5dMD55ORIGINALTESE Hemir da Cunha Santiago.pdfTESE Hemir da Cunha Santiago.pdfapplication/pdf2328852https://repositorio.ufpe.br/bitstream/123456789/24892/1/TESE%20Hemir%20da%20Cunha%20Santiago.pdffef592fcea41c2d4f8c811862b941d72MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/24892/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/24892/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTTESE Hemir da Cunha Santiago.pdf.txtTESE Hemir da Cunha Santiago.pdf.txtExtracted texttext/plain243614https://repositorio.ufpe.br/bitstream/123456789/24892/4/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.txtf9d0df820504ec9566a39af3f026bfcfMD54123456789/248922019-10-25 08:39:51.224oai:repositorio.ufpe.br:123456789/24892TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T11:39:51Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Reconhecimento de expressões faciais utilizando estimação de movimento
title Reconhecimento de expressões faciais utilizando estimação de movimento
spellingShingle Reconhecimento de expressões faciais utilizando estimação de movimento
SANTIAGO, Hemir da Cunha
Inteligência artificial
Processamento de imagens
title_short Reconhecimento de expressões faciais utilizando estimação de movimento
title_full Reconhecimento de expressões faciais utilizando estimação de movimento
title_fullStr Reconhecimento de expressões faciais utilizando estimação de movimento
title_full_unstemmed Reconhecimento de expressões faciais utilizando estimação de movimento
title_sort Reconhecimento de expressões faciais utilizando estimação de movimento
author SANTIAGO, Hemir da Cunha
author_facet SANTIAGO, Hemir da Cunha
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7048220239665859
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3084134533707587
dc.contributor.author.fl_str_mv SANTIAGO, Hemir da Cunha
dc.contributor.advisor1.fl_str_mv REN, Tsang Ing
contributor_str_mv REN, Tsang Ing
dc.subject.por.fl_str_mv Inteligência artificial
Processamento de imagens
topic Inteligência artificial
Processamento de imagens
description As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado.
publishDate 2017
dc.date.issued.fl_str_mv 2017-02-07
dc.date.accessioned.fl_str_mv 2018-06-25T21:40:31Z
dc.date.available.fl_str_mv 2018-06-25T21:40:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/24892
url https://repositorio.ufpe.br/handle/123456789/24892
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/24892/5/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/24892/1/TESE%20Hemir%20da%20Cunha%20Santiago.pdf
https://repositorio.ufpe.br/bitstream/123456789/24892/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/24892/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/24892/4/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.txt
bitstream.checksum.fl_str_mv 8c195b6a6532b75fb04e6e138da35e5d
fef592fcea41c2d4f8c811862b941d72
e39d27027a6cc9cb039ad269a5db8e34
4b8a02c7f2818eaf00dcf2260dd5eb08
f9d0df820504ec9566a39af3f026bfcf
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310847194726400