Reconhecimento de expressões faciais utilizando estimação de movimento
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/24892 |
Resumo: | As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado. |
id |
UFPE_8afa2434f050f1c7fc5a4cec5cf16d97 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/24892 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
SANTIAGO, Hemir da Cunhahttp://lattes.cnpq.br/7048220239665859http://lattes.cnpq.br/3084134533707587REN, Tsang Ing2018-06-25T21:40:31Z2018-06-25T21:40:31Z2017-02-07https://repositorio.ufpe.br/handle/123456789/24892As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado.Facial expressions provide information on the emotional response and play an essential role in human interaction and as a form of non-verbal communication. However, there cognition of expressions is still something considered complex for the computer. In this work, it is proposed a novel feature extractor that uses motion estimation for Facial Expression Recognition (FER). In this approach, the facial movement between two expressions is coded using an estimation of the region displacements between two images, which may be of the same face or the like. The facial expression image is compared to another more similar image in each facial expression of the training base, the best match is obtained using the Structural Similarity Index (SSIM). After identifying the most similar images in the training base, the motion vectors are calculated between the reference image and the other more similar in one of the expressions of the base. To calculate the motion vectors is proposed the MARSA (Modified Adaptive Reduction of the Search Area) algorithm. All motion vectors are compared to the coordinates with the highest occurrences of all motion vectors obtained during the training phase, from this comparison the feature vectors are generated that serve as input data for a SVM (Support Vector Machine), which will perform the classification of facial expression. Several databases of images and videos of faces reproducing facial expressions were used for the experiments, the adopted criteria for selection of the bases was the frequency which they are used in the state of the art, then were chosen: CohnKanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI, and CMU Pose, Illumination, and Expression (CMU-PIE). The experimental results demonstrate that there cognition rates of facial expressions are compatible to recent literature works proving the efficiency of the presented method.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência artificialProcessamento de imagensReconhecimento de expressões faciais utilizando estimação de movimentoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILTESE Hemir da Cunha Santiago.pdf.jpgTESE Hemir da Cunha Santiago.pdf.jpgGenerated Thumbnailimage/jpeg1255https://repositorio.ufpe.br/bitstream/123456789/24892/5/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.jpg8c195b6a6532b75fb04e6e138da35e5dMD55ORIGINALTESE Hemir da Cunha Santiago.pdfTESE Hemir da Cunha Santiago.pdfapplication/pdf2328852https://repositorio.ufpe.br/bitstream/123456789/24892/1/TESE%20Hemir%20da%20Cunha%20Santiago.pdffef592fcea41c2d4f8c811862b941d72MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/24892/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/24892/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTTESE Hemir da Cunha Santiago.pdf.txtTESE Hemir da Cunha Santiago.pdf.txtExtracted texttext/plain243614https://repositorio.ufpe.br/bitstream/123456789/24892/4/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.txtf9d0df820504ec9566a39af3f026bfcfMD54123456789/248922019-10-25 08:39:51.224oai:repositorio.ufpe.br:123456789/24892TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T11:39:51Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Reconhecimento de expressões faciais utilizando estimação de movimento |
title |
Reconhecimento de expressões faciais utilizando estimação de movimento |
spellingShingle |
Reconhecimento de expressões faciais utilizando estimação de movimento SANTIAGO, Hemir da Cunha Inteligência artificial Processamento de imagens |
title_short |
Reconhecimento de expressões faciais utilizando estimação de movimento |
title_full |
Reconhecimento de expressões faciais utilizando estimação de movimento |
title_fullStr |
Reconhecimento de expressões faciais utilizando estimação de movimento |
title_full_unstemmed |
Reconhecimento de expressões faciais utilizando estimação de movimento |
title_sort |
Reconhecimento de expressões faciais utilizando estimação de movimento |
author |
SANTIAGO, Hemir da Cunha |
author_facet |
SANTIAGO, Hemir da Cunha |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7048220239665859 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3084134533707587 |
dc.contributor.author.fl_str_mv |
SANTIAGO, Hemir da Cunha |
dc.contributor.advisor1.fl_str_mv |
REN, Tsang Ing |
contributor_str_mv |
REN, Tsang Ing |
dc.subject.por.fl_str_mv |
Inteligência artificial Processamento de imagens |
topic |
Inteligência artificial Processamento de imagens |
description |
As expressões faciais fornecem informações sobre a resposta emocional e exercem um papel fundamental na interação humana e como forma de comunicação não-verbal. Contudo, o reconhecimento das expressões ainda é algo considerado complexo para o computador. Neste trabalho, propomos um novo extrator de características que utiliza a estimação de movimento para o reconhecimento de expressões faciais. Nesta abordagem, o movimento facial entre duas expressões é codificado usando uma estimação dos deslocamentos de regiões entre duas imagens, que podem ser da mesma face ou de faces similares. A imagem da expressão facial é comparada a outra imagem mais similar em cada expressão facial da base de treinamento, a maior similaridade é obtida usando a medida de Similaridade Estrutural (SSIM - Structural Similarity Index). Após a identificação das imagens mais similares na base de treinamento, são calculados os vetores de movimento entre a imagem cuja expressão facial será reconhecida e a outra mais similar em uma das expressões da base. Para calcular os vetores de movimento é proposto o algoritmo MARSA(Modified Adaptive Reduction of the Search Area). Todos os vetores de movimento são comparados às coordenadas com as maiores ocorrências dentre todos os vetores de movimento obtidos durante a fase de treinamento, a partir dessa comparação são gerados os vetores de características que servem de dados de entrada para uma SVM (Support Vector Machine),que irá realizar a classificação da expressão facial. Diversas bases de imagens e vídeos de faces, reproduzindo expressões faciais, foram utilizadas para os experimentos. O critério adotado para a escolha das bases foi a frequência com que são utilizadas em outros trabalhos do estado da arte, portanto foram escolhidas: Cohn-Kanade (CK), Extended Cohn-Kanade (CK+), Japanese Female Facial Expression (JAFFE), MMI e CMU Pose, Illumination, and Expression (CMU-PIE). Os resultados experimentais demostram taxas de reconhecimento das expressões faciais compatíveis a outros trabalhos recentes da literatura, comprovando a eficiência do método apresentado. |
publishDate |
2017 |
dc.date.issued.fl_str_mv |
2017-02-07 |
dc.date.accessioned.fl_str_mv |
2018-06-25T21:40:31Z |
dc.date.available.fl_str_mv |
2018-06-25T21:40:31Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/24892 |
url |
https://repositorio.ufpe.br/handle/123456789/24892 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/24892/5/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/24892/1/TESE%20Hemir%20da%20Cunha%20Santiago.pdf https://repositorio.ufpe.br/bitstream/123456789/24892/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/24892/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/24892/4/TESE%20Hemir%20da%20Cunha%20Santiago.pdf.txt |
bitstream.checksum.fl_str_mv |
8c195b6a6532b75fb04e6e138da35e5d fef592fcea41c2d4f8c811862b941d72 e39d27027a6cc9cb039ad269a5db8e34 4b8a02c7f2818eaf00dcf2260dd5eb08 f9d0df820504ec9566a39af3f026bfcf |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310847194726400 |