Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas

Detalhes bibliográficos
Autor(a) principal: Oliveira, Eduardo de
Data de Publicação: 2011
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
Texto Completo: http://www.repositorio.jesuita.org.br/handle/UNISINOS/3189
Resumo: Este trabalho apresenta um sistema que realiza automaticamente a inferência das emoções básicas (alegria, tristeza, raiva, medo, repulsa e surpresa) pelas expressões da face de um usuário de computador, através de imagens capturadas por uma webcam. A aplicação desenvolvida baseia-se no sistema de codificação facial FACS, que classifica as ações faciais em códigos específicos, conhecidos como AUs (Action Units). A abordagem utilizada consiste em coletar dados de movimentações da boca, olhos e sobrancelhas para classificar, via redes neurais, os códigos AUs presentes nas expressões faciais executadas. Por meio de árvore de decisão, conjunto de regras ou rede neural, as emoções dos AUs, anteriormente classificados, são inferidas. O sistema construído foi avaliado sobre três cenários diferentes: (1) utilizando amostras de bases de faces para avaliação de reconhecimento de AUs e emoções; (2) com amostras de bases de faces para avaliação de reconhecimento de emoções por rede neural (abordagem alternativa); (3) utilizando uma amostra composta por imagens capturadas por webcam para avaliação de emoção, por árvore de decisão e rede neural. Como resultados, foi obtida uma taxa de reconhecimento sobre AUs de 53,83%, implicando em 28,57% de reconhecimento de emoções pelo inferidor da árvore de decisão - Cenário 1. Já, a inferência de emoção pela rede neural obteve como melhor resultado 63,33% de taxa de reconhecimento - Cenários 2 e 3. O trabalho desenvolvido pode ser utilizado para ajustar o comportamento do computador ao estado afetivo do usuário ou fornecer dados para outros softwares, como sistemas tutores inteligentes.
id USIN_528521a6ba15d6b526cd5a870758c9c6
oai_identifier_str oai:www.repositorio.jesuita.org.br:UNISINOS/3189
network_acronym_str USIN
network_name_str Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
repository_id_str
spelling 2015-03-30T13:52:39Z2015-03-30T13:52:39Z2011-03-22Submitted by Maicon Juliano Schmidt (maicons) on 2015-03-30T13:52:38Z No. of bitstreams: 1 Eduardo de Oliveira.pdf: 5953304 bytes, checksum: 4371bfccf262cad294bf159405027f64 (MD5)Made available in DSpace on 2015-03-30T13:52:39Z (GMT). No. of bitstreams: 1 Eduardo de Oliveira.pdf: 5953304 bytes, checksum: 4371bfccf262cad294bf159405027f64 (MD5) Previous issue date: 2011-01-31Este trabalho apresenta um sistema que realiza automaticamente a inferência das emoções básicas (alegria, tristeza, raiva, medo, repulsa e surpresa) pelas expressões da face de um usuário de computador, através de imagens capturadas por uma webcam. A aplicação desenvolvida baseia-se no sistema de codificação facial FACS, que classifica as ações faciais em códigos específicos, conhecidos como AUs (Action Units). A abordagem utilizada consiste em coletar dados de movimentações da boca, olhos e sobrancelhas para classificar, via redes neurais, os códigos AUs presentes nas expressões faciais executadas. Por meio de árvore de decisão, conjunto de regras ou rede neural, as emoções dos AUs, anteriormente classificados, são inferidas. O sistema construído foi avaliado sobre três cenários diferentes: (1) utilizando amostras de bases de faces para avaliação de reconhecimento de AUs e emoções; (2) com amostras de bases de faces para avaliação de reconhecimento de emoções por rede neural (abordagem alternativa); (3) utilizando uma amostra composta por imagens capturadas por webcam para avaliação de emoção, por árvore de decisão e rede neural. Como resultados, foi obtida uma taxa de reconhecimento sobre AUs de 53,83%, implicando em 28,57% de reconhecimento de emoções pelo inferidor da árvore de decisão - Cenário 1. Já, a inferência de emoção pela rede neural obteve como melhor resultado 63,33% de taxa de reconhecimento - Cenários 2 e 3. O trabalho desenvolvido pode ser utilizado para ajustar o comportamento do computador ao estado afetivo do usuário ou fornecer dados para outros softwares, como sistemas tutores inteligentes.This work presents a system that automatically performs the inference of basic emotions (happiness, sadness, anger, fear, disgust and surprise) through facial expressions from a computer user, using images captured by a webcam. The developed application is based on facial coding system FACS, that classifies specific facial actions, known as AUs (Action Units). The proposed approach consists in collecting moviment data of mouth, eyes and eyebrows to classify, by neural networks, AUs codes presents in performed facial expressions. With decision tree, ruleset or neural network, the emotions of AUs, previously classified, are inferred. The designed system was evaluated in three different scenarios: (1) using samples of faces bases to evaluate the recognition of AUs and emotions; (2) with samples of face bases to evaluate emotion recognition by neural network (alternative approach); (3) using a sample of images captured by webcam for evaluation of emotion in decision tree and neural network. As results, was obtained 53.83% of recognition rate over AUs, which implicating 28.57% of emotions recognition with decision tree - Scenario 1. The emotion inference by neural network achieve, 63.33% of recognition rate as the best result - Scenarios 2 and 3. The developed paper can be used to adjust computer?s behavior to address user?s affective state, or provides data to other softwares, such as intelligent tutoring systems.Banco Santander / BanespaOliveira, Eduardo dehttp://lattes.cnpq.br/2685362008174770http://lattes.cnpq.br/5723385125570881Maillard, Patrícia Augustin JaquesUniversidade do Vale do Rio dos SinosPrograma de Pós-Graduação em Computação AplicadaUnisinosBrasilEscola PolitécnicaUm sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicasACCNPQ::Ciências Exatas e da Terra::Ciência da ComputaçãoVisão computacionalInteração humano-computadorComputação afetivaComputer visionHuman-computer interactionAffective computinginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://www.repositorio.jesuita.org.br/handle/UNISINOS/3189info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)instname:Universidade do Vale do Rio dos Sinos (UNISINOS)instacron:UNISINOSORIGINALEduardo de Oliveira.pdfEduardo de Oliveira.pdfapplication/pdf5953304http://repositorio.jesuita.org.br/bitstream/UNISINOS/3189/1/Eduardo+de+Oliveira.pdf4371bfccf262cad294bf159405027f64MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82173http://repositorio.jesuita.org.br/bitstream/UNISINOS/3189/2/license.txt5f6f2e4c758f6f32e6a732cc5786e55fMD52UNISINOS/31892015-04-10 14:39:04.264oai:www.repositorio.jesuita.org.br:UNISINOS/3189Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCAKVW5pdmVyc2lkYWRlIGRvIFZhbGUgZG8gUmlvIGRvcyBTaW5vcyAoVU5JU0lOT1MpIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgCmRpc3RyaWJ1aXIgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gCnBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgYSBTaWdsYSBkZSBVbml2ZXJzaWRhZGUgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGEgc3VhIHRlc2Ugb3UgCmRpc3NlcnRhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIApuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldSAKY29uaGVjaW1lbnRvLCBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2PDqiBuw6NvIHBvc3N1aSBhIHRpdHVsYXJpZGFkZSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHZvY8OqIApkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIApvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgCmlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IG5vIGNvbnRlw7pkbyBkYSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gb3JhIGRlcG9zaXRhZGEuCgpDQVNPIEEgVEVTRSBPVSBESVNTRVJUQcOHw4NPIE9SQSBERVBPU0lUQURBIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIApBUE9JTyBERSBVTUEgQUfDik5DSUEgREUgRk9NRU5UTyBPVSBPVVRSTyBPUkdBTklTTU8gUVVFIE7Dg08gU0VKQSBBIFNJR0xBIERFIApVTklWRVJTSURBREUsIFZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PIApUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCkEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSAKZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSB0ZXNlIG91IGRpc3NlcnRhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://www.repositorio.jesuita.org.br/oai/requestopendoar:2015-04-10T17:39:04Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos) - Universidade do Vale do Rio dos Sinos (UNISINOS)false
dc.title.pt_BR.fl_str_mv Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
title Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
spellingShingle Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
Oliveira, Eduardo de
ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação
Visão computacional
Interação humano-computador
Computação afetiva
Computer vision
Human-computer interaction
Affective computing
title_short Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
title_full Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
title_fullStr Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
title_full_unstemmed Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
title_sort Um sistema de interferência de expressões faciais emocionais orientado no modelo de emoções básicas
author Oliveira, Eduardo de
author_facet Oliveira, Eduardo de
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/2685362008174770
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5723385125570881
dc.contributor.author.fl_str_mv Oliveira, Eduardo de
dc.contributor.advisor1.fl_str_mv Maillard, Patrícia Augustin Jaques
contributor_str_mv Maillard, Patrícia Augustin Jaques
dc.subject.cnpq.fl_str_mv ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação
topic ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação
Visão computacional
Interação humano-computador
Computação afetiva
Computer vision
Human-computer interaction
Affective computing
dc.subject.por.fl_str_mv Visão computacional
Interação humano-computador
Computação afetiva
dc.subject.eng.fl_str_mv Computer vision
Human-computer interaction
Affective computing
description Este trabalho apresenta um sistema que realiza automaticamente a inferência das emoções básicas (alegria, tristeza, raiva, medo, repulsa e surpresa) pelas expressões da face de um usuário de computador, através de imagens capturadas por uma webcam. A aplicação desenvolvida baseia-se no sistema de codificação facial FACS, que classifica as ações faciais em códigos específicos, conhecidos como AUs (Action Units). A abordagem utilizada consiste em coletar dados de movimentações da boca, olhos e sobrancelhas para classificar, via redes neurais, os códigos AUs presentes nas expressões faciais executadas. Por meio de árvore de decisão, conjunto de regras ou rede neural, as emoções dos AUs, anteriormente classificados, são inferidas. O sistema construído foi avaliado sobre três cenários diferentes: (1) utilizando amostras de bases de faces para avaliação de reconhecimento de AUs e emoções; (2) com amostras de bases de faces para avaliação de reconhecimento de emoções por rede neural (abordagem alternativa); (3) utilizando uma amostra composta por imagens capturadas por webcam para avaliação de emoção, por árvore de decisão e rede neural. Como resultados, foi obtida uma taxa de reconhecimento sobre AUs de 53,83%, implicando em 28,57% de reconhecimento de emoções pelo inferidor da árvore de decisão - Cenário 1. Já, a inferência de emoção pela rede neural obteve como melhor resultado 63,33% de taxa de reconhecimento - Cenários 2 e 3. O trabalho desenvolvido pode ser utilizado para ajustar o comportamento do computador ao estado afetivo do usuário ou fornecer dados para outros softwares, como sistemas tutores inteligentes.
publishDate 2011
dc.date.issued.fl_str_mv 2011-03-22
dc.date.accessioned.fl_str_mv 2015-03-30T13:52:39Z
dc.date.available.fl_str_mv 2015-03-30T13:52:39Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://www.repositorio.jesuita.org.br/handle/UNISINOS/3189
url http://www.repositorio.jesuita.org.br/handle/UNISINOS/3189
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade do Vale do Rio dos Sinos
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Computação Aplicada
dc.publisher.initials.fl_str_mv Unisinos
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Escola Politécnica
publisher.none.fl_str_mv Universidade do Vale do Rio dos Sinos
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
instname:Universidade do Vale do Rio dos Sinos (UNISINOS)
instacron:UNISINOS
instname_str Universidade do Vale do Rio dos Sinos (UNISINOS)
instacron_str UNISINOS
institution UNISINOS
reponame_str Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
collection Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
bitstream.url.fl_str_mv http://repositorio.jesuita.org.br/bitstream/UNISINOS/3189/1/Eduardo+de+Oliveira.pdf
http://repositorio.jesuita.org.br/bitstream/UNISINOS/3189/2/license.txt
bitstream.checksum.fl_str_mv 4371bfccf262cad294bf159405027f64
5f6f2e4c758f6f32e6a732cc5786e55f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos) - Universidade do Vale do Rio dos Sinos (UNISINOS)
repository.mail.fl_str_mv
_version_ 1801844953097175040