Modelação de expressões faciais num avatar usando classificação de biossinais

Bibliographic Details
Main Author: Garcia, Diogo Joao Machado
Publication Date: 2014
Format: Master thesis
Language: por
Source: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Download full: http://hdl.handle.net/10316/40453
Summary: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra
id RCAP_28911c832f585f357cb2c5e560b47db4
oai_identifier_str oai:estudogeral.uc.pt:10316/40453
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Modelação de expressões faciais num avatar usando classificação de biossinaiseletro-oculografiaeletromiografiaexpressão facialemoçãoseguimento ocularavatarelectrooculographyelectromyographyfacial expressionemotioneye-trackingavatarDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraO reconhecimento do estado afetivo ou emocional dos humanos, pelas máquinas, assunto que se explora já há muito tempo, pretende melhorar a interação entre máquinas/computadores e humanos, adaptando-se a diferentes situações. As expressões faciais são uma das formas que permite a inferência de estados emocionais. Existem várias técnicas de reconhecimento automático de expressões faciais, que passam por técnicas baseadas em processamento de imagem ou vídeo e por utilização de biossinais, mais especificamente sinais eletromiográficos. Nesta tese, foi investigada a utilização de biossinais, nomeadamente sinais eletromiográficos e sinais eletro-oculográficos, para inferir expressões faciais e movimentos oculares. Os músculos faciais permitem detetar expressões, tais como “felicidade”, “tristeza”, “surpresa”, “raiva”, entre outras. A informação do olhar é também relevante, tanto para a criação de novas interfaces de interação homem-máquina como para a dedução de estados emocionais e sociais. Informações como: olhar para cima, olhar para baixo, desviar o olhar são úteis para este fim. Existem várias técnicas de seguimento ocular e também de deteção de piscar de olhos, nomeadamente as que se baseiam no processamento de imagem, na oculografia de infravermelhos, na técnica da bobina escleral e nos biossinais eletro-oculográficos. A fim de mimetizar as expressões faciais efetuadas pelo utilizador, bem como movimentos oculares e movimentos da cabeça (através de um sensor de inércia) foi desenvolvido um avatar 3D. O sistema de deteção incorpora três subsistemas; o primeiro deteta entre quatro expressões faciais (neutra, felicidade, tristeza e raiva), o segundo sistema deteta entre cinco movimentos oculares (“cima”, “baixo”, “direita”, “esquerda” e “piscar de olhos”) e o movimento de “franzir”. Ainda foi desenvolvido um terceiro sistema de seguimento ocular de movimentos horizontais (eye-tracking) recorrendo também a sinais eletrooculográficos. Os dois primeiros sistemas recorrem a um classificador discriminativo linear (classificador de Bayes). Todos estes sistemas foram implementados para funcionamento online. O sistema de reconhecimento de expressões faciais obteve desempenho bastante satisfatório, com uma média de exatidão, entre expressões, de 95,5%, sendo a expressão “tristeza” algumas vezes confundida pelo classificador com a expressão ”raiva” (algo que se refletiu no desempenho global do sistema).Nos testes efetuados, o sistema de reconhecimento de movimentos oculares obteve uma taxa de sensibilidade de 84,7% e um taxa de exatidão de 98,3%. O sistema de seguimento ocular, que foi desenvolvido, apresentou um ótimo desempenho, no seguimento de treze sacadas, e um erro de aproximadamente 3,0 graus na posição final.The recognition of the human affective and emotional state by machines is a subject that has been researched for a long time. This allows for better and more suitable interaction between machines/computers and humans. Facial expressions are one of the ways that allows the inference of emotional states. Various techniques are available to automate facial expressions recognition, ranging from techniques based on the image and video processing to the use of biosignals, more precisely electromyographic signals. In this thesis, the use of biosignals, in particular electromyographic signals and electrooculographic signals, was researched to deduce facial expressions and eye movements. The facial muscles allow the detection of expressions such as “happiness”, “sadness”, “surprise”, “anger”, among other expressions. Eye information is also relevant, not only for the creation of new humanmachine interfaces, but also for depicting social and emotional states. Look in up, look in down or look away are useful information for this purpose. There are several techniques for eye tracking and detecting blinks of the eye: based on image processing, infrared oculography, scleral coil and based on electrooculographic biosignals. In order to mimic the user facial expressions, as well as eye tracking and head movements (through a motion sensor), a 3D avatar was developed. The main detecting system incorporates three subsystems. The first subsystem detects four facial expressions (neutral, happiness, sadness and anger), the second subsystem detects five eye movements (up, down, right, left and blink of the eye) and frown movement. The third subsystem is an eye-tracking system that also uses electrooculographic signals. The first two subsystems use a linear discriminative classifier (Bayes classifier). All these subsystems were developed for online usage. The facial expressions recognition system had a positive performance, with an average accuracy of 95,5%, where the sad expression was sometimes confused with anger expression (that affected the system global performance). In the tests carried out, the eye-movement recognition system had a sensitivity of 84,7% and accuracy of 98,3%. The developed eye-tracking system showed great performance when following 13 saccades, and a final position error of approximately 3,0 degrees.2014-09-19info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/40453http://hdl.handle.net/10316/40453TID:201673541porGarcia, Diogo Joao Machadoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-02-11T11:20:26Zoai:estudogeral.uc.pt:10316/40453Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:58:09.140820Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Modelação de expressões faciais num avatar usando classificação de biossinais
title Modelação de expressões faciais num avatar usando classificação de biossinais
spellingShingle Modelação de expressões faciais num avatar usando classificação de biossinais
Garcia, Diogo Joao Machado
eletro-oculografia
eletromiografia
expressão facial
emoção
seguimento ocular
avatar
electrooculography
electromyography
facial expression
emotion
eye-tracking
avatar
title_short Modelação de expressões faciais num avatar usando classificação de biossinais
title_full Modelação de expressões faciais num avatar usando classificação de biossinais
title_fullStr Modelação de expressões faciais num avatar usando classificação de biossinais
title_full_unstemmed Modelação de expressões faciais num avatar usando classificação de biossinais
title_sort Modelação de expressões faciais num avatar usando classificação de biossinais
author Garcia, Diogo Joao Machado
author_facet Garcia, Diogo Joao Machado
author_role author
dc.contributor.author.fl_str_mv Garcia, Diogo Joao Machado
dc.subject.por.fl_str_mv eletro-oculografia
eletromiografia
expressão facial
emoção
seguimento ocular
avatar
electrooculography
electromyography
facial expression
emotion
eye-tracking
avatar
topic eletro-oculografia
eletromiografia
expressão facial
emoção
seguimento ocular
avatar
electrooculography
electromyography
facial expression
emotion
eye-tracking
avatar
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra
publishDate 2014
dc.date.none.fl_str_mv 2014-09-19
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/40453
http://hdl.handle.net/10316/40453
TID:201673541
url http://hdl.handle.net/10316/40453
identifier_str_mv TID:201673541
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133872338763776

Similar Items