RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot

Detalhes bibliográficos
Autor(a) principal: Simões, Gabriela de Melo
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/107907
Resumo: Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_804cad5c1b85d1058f44aede71f604da
oai_identifier_str oai:estudogeral.uc.pt:10316/107907
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robotRGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robotClassificação do EnvolvimentoReconhecimento de EmoçõesRedes Neurais ConvolucionaisRobô NAOEngagement ClassificationEmotion RecognitionConvolutional Neural NetworksNAO RobotDissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaO papel dos robôs sociais tem aumentado a sua relevância na sociedade moderna. A interação com os robôs humanóides provou ser extremamente útil e capacitada a vários níveis quando interagem com crianças, com uma função terapêutica para melhorar as competências sociais, educacionais e de aprendizagem, imitando o comportamento humano e encorajando atividades. Os robôs podem também ser uma ferramenta útil na mitigação de estados e comportamentos negativos durante sessões terapêuticas com especialistas, tais como psicólogos. Por conseguinte, é importante avaliar se a criança está interessada, mantém o interesse e coopera durante a atividade de criança-robô. Para o conseguir, o reconhecimento do envolvimento é uma tarefa importante.Este trabalho concentra-se no desenvolvimento de um sistema de classificação do envolvimento baseado no reconhecimento de emoções através da expressão facial, útil para a análise online e offline de sessões terapêuticas. Com este porpósito, a classificação das emoções foi desenvolvida com base em arquitecturas CNN alimentadas por imagens faciais de crianças de diferentes conjuntos de dados (EmoReact, FER2013 e CAFE dataset) sendo explorados dois métodos de classificação do envolvimento. O Método-1 após a classificação das emoções infere diretamente os níveis de envolvimento com base na relação direta entre os níveis de envolvimento e as emoções, enquanto que o Método-2 aplica a mesma rede de classificação de emoções alimentada com as mesmas imagens mas rotuladas com níveis de envolvimento classificando em quatro níveis de envolvimento. Para relacionar as emoções e os níveis de envolvimento, os dois métodos utilizam o mesmo modelo afetivo. O Método-1 funciona melhor que o Método-2, alcançando uma boa precisão de 88,14%.A atividade criança-robô, baseada no robô humanóide NAO, foi concebida com a assistência de um professor de psicologia da Universidade de Coimbra, Carlos Carona, com a fase inicial centrada no envolvimento da criança com danças e movimentos, seguida de um exercício de relaxamento baseado na respiração.Os resultados do teste em cenário real, obtidos através da realização da atividade criança-robô e da utilização offline do sistema de classificação do envolvimento, foram satisfatórios e podem vir a ser explorados e implementados em áreas da psicologia no futuro.The role of social robots has enhanced relevance in modern societies. The interaction with humanoid robots proved to be extremely helpful and empowered on multiple levels when interacting with children, with a therapeutic function to improve social, educational, and learning skills by mimicking human behaviour and encouraging activities. The robots can also be a useful tool in the mitigation of negative states and behaviours during therapeutic sessions with specialists such as psychologists. Therefore, it is important to evaluate whether the child is interested in, maintains the interest in, and cooperates during the child-robot activity. To accomplish that, engagement recognition is an important task.This work focuses on the development of an engagement classification system based on emotion recognition through facial expression useful to online and offline analysis of therapy sessions. For this purpose, the emotion classification was developed based on CNN architectures fed by children's face images from different datasets (EmoReact, FER2013, and CAFE dataset), and two methods of engagement classification were explored. Method-1 after the emotion classification, infers the levels of engagement based on the direct relationship between levels of engagement and emotions, whereas Method-2 employs the same network to classify the emotions fed with the same images but labelled with levels of engagement classifying in four levels of engagement. To relate emotion and levels of engagement, the two methods use the same affective model. Method-1 performs better than Method-2, achieving a good accuracy of 88,14%.The child-robot activity, based on the NAO humanoid robot, was designed with the assistance of a psychology professor at the University of Coimbra, Carlos Carona, with the initial phase focusing on engaging the child with dances and motions, followed by a breathing-based relaxation exercise.The results of the real-world scenario test obtained by performing the child-robot activity and the offline use of the engagement classification system were satisfactory and can be further explored and implemented in psychology areas in the future.FCT2023-02-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/107907http://hdl.handle.net/10316/107907TID:203337751engSimões, Gabriela de Meloinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-08-02T22:03:16Zoai:estudogeral.uc.pt:10316/107907Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:24:11.773488Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
title RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
spellingShingle RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
Simões, Gabriela de Melo
Classificação do Envolvimento
Reconhecimento de Emoções
Redes Neurais Convolucionais
Robô NAO
Engagement Classification
Emotion Recognition
Convolutional Neural Networks
NAO Robot
title_short RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
title_full RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
title_fullStr RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
title_full_unstemmed RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
title_sort RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot
author Simões, Gabriela de Melo
author_facet Simões, Gabriela de Melo
author_role author
dc.contributor.author.fl_str_mv Simões, Gabriela de Melo
dc.subject.por.fl_str_mv Classificação do Envolvimento
Reconhecimento de Emoções
Redes Neurais Convolucionais
Robô NAO
Engagement Classification
Emotion Recognition
Convolutional Neural Networks
NAO Robot
topic Classificação do Envolvimento
Reconhecimento de Emoções
Redes Neurais Convolucionais
Robô NAO
Engagement Classification
Emotion Recognition
Convolutional Neural Networks
NAO Robot
description Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2023
dc.date.none.fl_str_mv 2023-02-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/107907
http://hdl.handle.net/10316/107907
TID:203337751
url http://hdl.handle.net/10316/107907
identifier_str_mv TID:203337751
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134127190966272

Registros relacionados