Mirroring and recognizing emotions through facial expressions for a Robokind platform

Detalhes bibliográficos
Autor(a) principal: Silva, Vinicius Corrêa Alves
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/46634
Resumo: Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
id RCAP_ddbc7f94b01c2a17a64ea2436404b7b9
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/46634
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str
spelling Mirroring and recognizing emotions through facial expressions for a Robokind platformHuman Computer InteractionZeno R50 robotFacial expressionsotionsEmotionsAutism Spectrum DisordersInteração Humano RobôRobô Zeno R50Expressões faciaisEmoçõesPerturbações do espectro do autismoHCIASDIHRPEAEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresFacial expressions play an important role during human social interaction, enabling communicative cues, ascertaining the level of interest or signalling the desire to take a speaking turn. They also give continuous feedback indicating that the information conveyed has been understood. However, certain individuals have difficulties in social interaction in particular verbal and non-verbal communication (e.g. emotions and gestures). Autism Spectrum Disorders (ASD) are a special case of social impairments. Individuals that are affected with ASD are characterized by repetitive patterns of behaviour, restricted activities or interests, and impairments in social communication. The use of robots had already been proven to encourage the promotion of social interaction and skills in children with ASD. Following this trend, in this work a robotic platform is used as a mediator in the social interaction activities with children with special needs. The main purpose of this dissertation is to develop a system capable of automatic detecting emotions through facial expressions and interfacing it with a robotic platform in order to allow social interaction with children with special needs. The proposed experimental setup uses the Intel RealSense 3D camera and the Zeno R50 Robokind robotic platform. This layout has two subsystems, a Mirroring Emotion System (MES) and an Emotion Recognition System (ERS). The first subsystem (MES) is capable of synthetizing human emotions through facial expressions, on-line. The other subsystem (ERS) is able to recognize human emotions through facial features in real time. MES extracts the user facial Action Units (AUs), sends the data to the robot allowing on-line imitation. ERS uses Support Vector Machine (SVM) technique to automatic classify the emotion expressed by the User in real time. Finally, the proposed subsystems, MES and ERS, were evaluated in a laboratorial and controlled environment in order to check the integration and operation of the systems. Then, both subsystems were tested in a school environment in different configurations. The results of these preliminary tests allowed to detect some constraints of the system, as well as validate its adequacy in an intervention setting.As expressões faciais desempenham um papel importante na interação social, permitindo fornecer pistas comunicativas, conhecer o nível de interesse ou sinalizar o desejo de falar. No entanto, algumas pessoas têm dificuldades na interação social, em particular, na comunicação verbal e não-verbal (por exemplo, emoções e gestos). As Perturbações do Espectro do Autismo (PEA) são um caso especial de transtorno e dificuldades sociais. Os indivíduos que são afetados com PEA são caracterizados por padrões repetitivos de comportamento, atividades e interesses restritos e possuem deficiências na comunicação social. A utilização de robôs para incentivar a promoção da interação social e habilidades em crianças com PEA tem sido apresentada na literatura. Seguindo essa tendência, neste trabalho uma plataforma robótica é utilizada como um mediador nas atividades de interação social com crianças com necessidades especiais. O objetivo principal desta dissertação é desenvolver um sistema capaz de detetar automaticamente emoções através de expressões faciais e fazer interface com uma plataforma robótica, a fim de permitir uma interação social com crianças com necessidades especiais. O trabalho experimental proposto utiliza a câmara Intel RealSense 3D e a plataforma robótica Zeno R50 Robokind. Este esquema possui dois subsistemas, um sistema de imitação de expressões faciais (MES) e um sistema de reconhecimentos de emoções (ERS). O primeiro subsistema (MES) é capaz de sintetizar on-line as emoções humanas através de expressões faciais. O subsistema ERS é capaz de reconhecer em tempo-real emoções humanas através de características faciais. O MES extrai as Unidades de Ação faciais do utilizador (UAs), envia os dados para o robô permitindo imitação on-line. O ERS utiliza Support Vector Machine (SVM) para automaticamente classificar a emoção exibida pelo utilizador. Finalmente, os subsistemas propostos, MES e ERS, foram avaliados num ambiente laboratorial e controlado, a fim de verificar a integração e a operação de ambos. Em seguida, os subsistemas foram testados num ambiente escolar em diferentes configurações. Os resultados destes testes preliminares permitiram detetar algumas limitações do sistema, bem como validar a sua adequação na intervenção com crianças com necessidades especiais.Soares, FilomenaUniversidade do MinhoSilva, Vinicius Corrêa Alves2016-07-112016-07-11T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/46634eng201737060info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:51:10ZPortal AgregadorONG
dc.title.none.fl_str_mv Mirroring and recognizing emotions through facial expressions for a Robokind platform
title Mirroring and recognizing emotions through facial expressions for a Robokind platform
spellingShingle Mirroring and recognizing emotions through facial expressions for a Robokind platform
Silva, Vinicius Corrêa Alves
Human Computer Interaction
Zeno R50 robot
Facial expressionsotions
Emotions
Autism Spectrum Disorders
Interação Humano Robô
Robô Zeno R50
Expressões faciais
Emoções
Perturbações do espectro do autismo
HCI
ASD
IHR
PEA
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Mirroring and recognizing emotions through facial expressions for a Robokind platform
title_full Mirroring and recognizing emotions through facial expressions for a Robokind platform
title_fullStr Mirroring and recognizing emotions through facial expressions for a Robokind platform
title_full_unstemmed Mirroring and recognizing emotions through facial expressions for a Robokind platform
title_sort Mirroring and recognizing emotions through facial expressions for a Robokind platform
author Silva, Vinicius Corrêa Alves
author_facet Silva, Vinicius Corrêa Alves
author_role author
dc.contributor.none.fl_str_mv Soares, Filomena
Universidade do Minho
dc.contributor.author.fl_str_mv Silva, Vinicius Corrêa Alves
dc.subject.por.fl_str_mv Human Computer Interaction
Zeno R50 robot
Facial expressionsotions
Emotions
Autism Spectrum Disorders
Interação Humano Robô
Robô Zeno R50
Expressões faciais
Emoções
Perturbações do espectro do autismo
HCI
ASD
IHR
PEA
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Human Computer Interaction
Zeno R50 robot
Facial expressionsotions
Emotions
Autism Spectrum Disorders
Interação Humano Robô
Robô Zeno R50
Expressões faciais
Emoções
Perturbações do espectro do autismo
HCI
ASD
IHR
PEA
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
publishDate 2016
dc.date.none.fl_str_mv 2016-07-11
2016-07-11T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/46634
url http://hdl.handle.net/1822/46634
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 201737060
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1777303859284148224

Registros relacionados