RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10316/107907 |
Resumo: | Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia |
id |
RCAP_804cad5c1b85d1058f44aede71f604da |
---|---|
oai_identifier_str |
oai:estudogeral.uc.pt:10316/107907 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robotRGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robotClassificação do EnvolvimentoReconhecimento de EmoçõesRedes Neurais ConvolucionaisRobô NAOEngagement ClassificationEmotion RecognitionConvolutional Neural NetworksNAO RobotDissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaO papel dos robôs sociais tem aumentado a sua relevância na sociedade moderna. A interação com os robôs humanóides provou ser extremamente útil e capacitada a vários níveis quando interagem com crianças, com uma função terapêutica para melhorar as competências sociais, educacionais e de aprendizagem, imitando o comportamento humano e encorajando atividades. Os robôs podem também ser uma ferramenta útil na mitigação de estados e comportamentos negativos durante sessões terapêuticas com especialistas, tais como psicólogos. Por conseguinte, é importante avaliar se a criança está interessada, mantém o interesse e coopera durante a atividade de criança-robô. Para o conseguir, o reconhecimento do envolvimento é uma tarefa importante.Este trabalho concentra-se no desenvolvimento de um sistema de classificação do envolvimento baseado no reconhecimento de emoções através da expressão facial, útil para a análise online e offline de sessões terapêuticas. Com este porpósito, a classificação das emoções foi desenvolvida com base em arquitecturas CNN alimentadas por imagens faciais de crianças de diferentes conjuntos de dados (EmoReact, FER2013 e CAFE dataset) sendo explorados dois métodos de classificação do envolvimento. O Método-1 após a classificação das emoções infere diretamente os níveis de envolvimento com base na relação direta entre os níveis de envolvimento e as emoções, enquanto que o Método-2 aplica a mesma rede de classificação de emoções alimentada com as mesmas imagens mas rotuladas com níveis de envolvimento classificando em quatro níveis de envolvimento. Para relacionar as emoções e os níveis de envolvimento, os dois métodos utilizam o mesmo modelo afetivo. O Método-1 funciona melhor que o Método-2, alcançando uma boa precisão de 88,14%.A atividade criança-robô, baseada no robô humanóide NAO, foi concebida com a assistência de um professor de psicologia da Universidade de Coimbra, Carlos Carona, com a fase inicial centrada no envolvimento da criança com danças e movimentos, seguida de um exercício de relaxamento baseado na respiração.Os resultados do teste em cenário real, obtidos através da realização da atividade criança-robô e da utilização offline do sistema de classificação do envolvimento, foram satisfatórios e podem vir a ser explorados e implementados em áreas da psicologia no futuro.The role of social robots has enhanced relevance in modern societies. The interaction with humanoid robots proved to be extremely helpful and empowered on multiple levels when interacting with children, with a therapeutic function to improve social, educational, and learning skills by mimicking human behaviour and encouraging activities. The robots can also be a useful tool in the mitigation of negative states and behaviours during therapeutic sessions with specialists such as psychologists. Therefore, it is important to evaluate whether the child is interested in, maintains the interest in, and cooperates during the child-robot activity. To accomplish that, engagement recognition is an important task.This work focuses on the development of an engagement classification system based on emotion recognition through facial expression useful to online and offline analysis of therapy sessions. For this purpose, the emotion classification was developed based on CNN architectures fed by children's face images from different datasets (EmoReact, FER2013, and CAFE dataset), and two methods of engagement classification were explored. Method-1 after the emotion classification, infers the levels of engagement based on the direct relationship between levels of engagement and emotions, whereas Method-2 employs the same network to classify the emotions fed with the same images but labelled with levels of engagement classifying in four levels of engagement. To relate emotion and levels of engagement, the two methods use the same affective model. Method-1 performs better than Method-2, achieving a good accuracy of 88,14%.The child-robot activity, based on the NAO humanoid robot, was designed with the assistance of a psychology professor at the University of Coimbra, Carlos Carona, with the initial phase focusing on engaging the child with dances and motions, followed by a breathing-based relaxation exercise.The results of the real-world scenario test obtained by performing the child-robot activity and the offline use of the engagement classification system were satisfactory and can be further explored and implemented in psychology areas in the future.FCT2023-02-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/107907http://hdl.handle.net/10316/107907TID:203337751engSimões, Gabriela de Meloinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-08-02T22:03:16Zoai:estudogeral.uc.pt:10316/107907Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:24:11.773488Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
title |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
spellingShingle |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot Simões, Gabriela de Melo Classificação do Envolvimento Reconhecimento de Emoções Redes Neurais Convolucionais Robô NAO Engagement Classification Emotion Recognition Convolutional Neural Networks NAO Robot |
title_short |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
title_full |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
title_fullStr |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
title_full_unstemmed |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
title_sort |
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot |
author |
Simões, Gabriela de Melo |
author_facet |
Simões, Gabriela de Melo |
author_role |
author |
dc.contributor.author.fl_str_mv |
Simões, Gabriela de Melo |
dc.subject.por.fl_str_mv |
Classificação do Envolvimento Reconhecimento de Emoções Redes Neurais Convolucionais Robô NAO Engagement Classification Emotion Recognition Convolutional Neural Networks NAO Robot |
topic |
Classificação do Envolvimento Reconhecimento de Emoções Redes Neurais Convolucionais Robô NAO Engagement Classification Emotion Recognition Convolutional Neural Networks NAO Robot |
description |
Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-02-27 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/107907 http://hdl.handle.net/10316/107907 TID:203337751 |
url |
http://hdl.handle.net/10316/107907 |
identifier_str_mv |
TID:203337751 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799134127190966272 |