Exploring the combination of motion and EDA data to improve emotion recognition
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10451/62616 |
Resumo: | Tese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de Ciências |
id |
RCAP_d132129d9453efc39985d3a6ae458639 |
---|---|
oai_identifier_str |
oai:repositorio.ul.pt:10451/62616 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Exploring the combination of motion and EDA data to improve emotion recognitionReconhecimento de EmoçõesAtividade EletrodérmicaAcelerômetroFusão de sinaisTeses de mestrado - 2023Departamento de InformáticaTese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de CiênciasWith the emotion recognition of what a person is felling at a given moment, emotion-aware applications can be developed to offer a more accurate human behavior prediction. The most common way to identify human emotions is with physiological signals, with the Electrodermal activity (EDA) signal being one of the most used. However, despite its widespread use, the EDA signal has limitations. While collecting physiological data using the EDA signal, the participants physical movements introduce noise that affects the signal readings. And, as a result, the data needs to be preprocessed. So, any information about movement that could be connected to an emotion ends up being ignored. In this work, we aimed to investigate if, with an usually discarded information, the motion information from the Accelerometer (ACC), we could enhance emotion recognition. We focused on developing an algorithm to explore whether the use of the ACC, either on its own or with the EDA signal, enhances emotional recognition. We examined existing methods for emotion recognition, considering both motion and physiological signals. By doing so, we explored different sliding window sizes and compared the effectiveness of two modalities fusion methods: Feature Fusion (FF) and Decision Fusion (DF). With the WESAD dataset, our findings suggested that there is no one-size-fits-all answer when it comes to selecting the optimal sliding window size for emotion recognition. The appropriate window size depends on the specific modality being explored. Additionally, for the fusion of signals, feature fusion had better results than decision fusion. We were also able to demonstrate that incorporating motion information from ACC with the physiological signal from the EDA, can lead to improved results compared to using EDA alone.Castelo, Soraia Vanessa Meneses AlarcãoFonseca, Manuel João Caneira Monteiro da, 1968-Repositório da Universidade de LisboaRocha, Hugo Miguel Lemos2024-02-14T13:24:17Z202320232023-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/62616enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-19T01:19:04Zoai:repositorio.ul.pt:10451/62616Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T02:38:57.884403Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Exploring the combination of motion and EDA data to improve emotion recognition |
title |
Exploring the combination of motion and EDA data to improve emotion recognition |
spellingShingle |
Exploring the combination of motion and EDA data to improve emotion recognition Rocha, Hugo Miguel Lemos Reconhecimento de Emoções Atividade Eletrodérmica Acelerômetro Fusão de sinais Teses de mestrado - 2023 Departamento de Informática |
title_short |
Exploring the combination of motion and EDA data to improve emotion recognition |
title_full |
Exploring the combination of motion and EDA data to improve emotion recognition |
title_fullStr |
Exploring the combination of motion and EDA data to improve emotion recognition |
title_full_unstemmed |
Exploring the combination of motion and EDA data to improve emotion recognition |
title_sort |
Exploring the combination of motion and EDA data to improve emotion recognition |
author |
Rocha, Hugo Miguel Lemos |
author_facet |
Rocha, Hugo Miguel Lemos |
author_role |
author |
dc.contributor.none.fl_str_mv |
Castelo, Soraia Vanessa Meneses Alarcão Fonseca, Manuel João Caneira Monteiro da, 1968- Repositório da Universidade de Lisboa |
dc.contributor.author.fl_str_mv |
Rocha, Hugo Miguel Lemos |
dc.subject.por.fl_str_mv |
Reconhecimento de Emoções Atividade Eletrodérmica Acelerômetro Fusão de sinais Teses de mestrado - 2023 Departamento de Informática |
topic |
Reconhecimento de Emoções Atividade Eletrodérmica Acelerômetro Fusão de sinais Teses de mestrado - 2023 Departamento de Informática |
description |
Tese de mestrado, Informática , 2023, Universidade de Lisboa, Faculdade de Ciências |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023 2023 2023-01-01T00:00:00Z 2024-02-14T13:24:17Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10451/62616 |
url |
http://hdl.handle.net/10451/62616 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799137439870091264 |