Exploring the combination of motion and EDA data to improve emotion recognition

Detalhes bibliográficos
Autor(a) principal: Rocha, Hugo Miguel Lemos
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10451/62616
Resumo: Tese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de Ciências
id RCAP_d132129d9453efc39985d3a6ae458639
oai_identifier_str oai:repositorio.ul.pt:10451/62616
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Exploring the combination of motion and EDA data to improve emotion recognitionReconhecimento de EmoçõesAtividade EletrodérmicaAcelerômetroFusão de sinaisTeses de mestrado - 2023Departamento de InformáticaTese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de CiênciasWith the emotion recognition of what a person is felling at a given moment, emotion-aware applications can be developed to offer a more accurate human behavior prediction. The most common way to identify human emotions is with physiological signals, with the Electrodermal activity (EDA) signal being one of the most used. However, despite its widespread use, the EDA signal has limitations. While collecting physiological data using the EDA signal, the participants physical movements introduce noise that affects the signal readings. And, as a result, the data needs to be preprocessed. So, any information about movement that could be connected to an emotion ends up being ignored. In this work, we aimed to investigate if, with an usually discarded information, the motion information from the Accelerometer (ACC), we could enhance emotion recognition. We focused on developing an algorithm to explore whether the use of the ACC, either on its own or with the EDA signal, enhances emotional recognition. We examined existing methods for emotion recognition, considering both motion and physiological signals. By doing so, we explored different sliding window sizes and compared the effectiveness of two modalities fusion methods: Feature Fusion (FF) and Decision Fusion (DF). With the WESAD dataset, our findings suggested that there is no one-size-fits-all answer when it comes to selecting the optimal sliding window size for emotion recognition. The appropriate window size depends on the specific modality being explored. Additionally, for the fusion of signals, feature fusion had better results than decision fusion. We were also able to demonstrate that incorporating motion information from ACC with the physiological signal from the EDA, can lead to improved results compared to using EDA alone.Castelo, Soraia Vanessa Meneses AlarcãoFonseca, Manuel João Caneira Monteiro da, 1968-Repositório da Universidade de LisboaRocha, Hugo Miguel Lemos2024-02-14T13:24:17Z202320232023-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/62616enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-19T01:19:04Zoai:repositorio.ul.pt:10451/62616Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T02:38:57.884403Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Exploring the combination of motion and EDA data to improve emotion recognition
title Exploring the combination of motion and EDA data to improve emotion recognition
spellingShingle Exploring the combination of motion and EDA data to improve emotion recognition
Rocha, Hugo Miguel Lemos
Reconhecimento de Emoções
Atividade Eletrodérmica
Acelerômetro
Fusão de sinais
Teses de mestrado - 2023
Departamento de Informática
title_short Exploring the combination of motion and EDA data to improve emotion recognition
title_full Exploring the combination of motion and EDA data to improve emotion recognition
title_fullStr Exploring the combination of motion and EDA data to improve emotion recognition
title_full_unstemmed Exploring the combination of motion and EDA data to improve emotion recognition
title_sort Exploring the combination of motion and EDA data to improve emotion recognition
author Rocha, Hugo Miguel Lemos
author_facet Rocha, Hugo Miguel Lemos
author_role author
dc.contributor.none.fl_str_mv Castelo, Soraia Vanessa Meneses Alarcão
Fonseca, Manuel João Caneira Monteiro da, 1968-
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Rocha, Hugo Miguel Lemos
dc.subject.por.fl_str_mv Reconhecimento de Emoções
Atividade Eletrodérmica
Acelerômetro
Fusão de sinais
Teses de mestrado - 2023
Departamento de Informática
topic Reconhecimento de Emoções
Atividade Eletrodérmica
Acelerômetro
Fusão de sinais
Teses de mestrado - 2023
Departamento de Informática
description Tese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de Ciências
publishDate 2023
dc.date.none.fl_str_mv 2023
2023
2023-01-01T00:00:00Z
2024-02-14T13:24:17Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10451/62616
url http://hdl.handle.net/10451/62616
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137439870091264

Registros relacionados