Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação

Detalhes bibliográficos
Autor(a) principal: Medeiros, Jose Pedro da Silva Figueiredo
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/81545
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_4bf19b375e8f0abd52d3a568a14b2124
oai_identifier_str oai:estudogeral.uc.pt:10316/81545
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por ImitaçãoChild-robot interaction: Learning by Imitation using Motion GeneralizationKinect Motion LearningChild-Robot interactionKinectNAOROSKinectNAOROSDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaPara que seja possível a interação entre robôs e humanos em contextos sociais, a criação de uma estrutura com capacidades sociais deve servir de suporte ao robô. Neste trabalho uma estrutura do género é proposta. Nesta estrutura algumas destas capacidades sociais foram implementadas com a ajuda do robô NAO. A estrutura é composta ainda pelo sensor kinect RGB-De um computador.Este trabalho está incluído numa parceria entre o Instituto de Sistemas e Robótica (ISR) e a Associação de Paralesia Cerebral de Coimbra (APCC). Esta parceria pretende desenvolver vários trabalhos na área de interação entr robôs e crianças, com um foco nas crianças da associação APCC que sofrem de paralisia cerebral.As diferentes funcionalidades da estrutura foram testadas por utilizadores adultos e por uma criança. O sistema foi desenvolvido na plataforma \textit{robot operating system} (ROS) que efectua as comunicações necessárias entre todos os componentes do sistema. O sensor kinect foi utilizado devido às suas capacidades de reconhecimento humano e rastreamento de esqueleto.O sistema está preparado para realizar a aprendizagem e generalização de movimentos recorrendo ao sensor kinect na captura da informação do esqueleto do utilizador. Depois de o movimento ser generalizado o sistema está preparado para mapeá-lo no robô NAO, ficando depois preparado reproduzi-lo. Um módulo de classificação também foi implementado para detecção de movimento, no caso de um movimento ser reconhecido o robô poderá reproduzi-lo. Foi desenvolvido ainda um módulo de imitação onde a parte superior do corpo poderá ser imitada pelo robô.A fim de realizar as habilidades descritas, o sistema também está equipado com o reconhecimento de voz e, ao mesmo tempo, o robô NAO está equipado com um altifalante permitindo assim comunicar com o utilizador.Este tipo de sistema é um sistema expansível onde outras habilidades podem sempre vir a ser adicionados. O mesmo acontece no sentido contrário, as habilidades aqui desenvolvidas poderão ser incluídas em trabalhos futuro. É de esperar que seja alcançado o ponto em que exista um sistema avançado o suficiente para ajudar as crianças nessas situações, para alcançar esse objetivo é necessário pequenos passos como o sistema proposto. .For robots to engage with human users in social interactions, the setup where they are included must be prepared with a set of different capability's. In this work a system setup is proposed where some of this social skills were implemented with the help of NAO robot. The framework is composed by a computer, kinect RGB-D depth sensor and the previously mentioned NAO robot.This work is included in a partnership between Instituto de Sistemas e Robótica (ISR) and Associação de Paralesia Cerebral de Coimbra (APCC). This partnership intends to develop several works in child-robot interaction area, focusing children from the APCC association that suffer from cerebral palsy. The system setup different skills were tested with adults and children users interacting with NAO robot. The system was developed under Robot Operating System (ROS) which provided the necessary communications between all the parts of the system. The kinect depth sensor was used due to its capacities in human recognition and skeleton tracking. Among the different skills, the system is prepared for kinect motion learning and generalization taught by the user. This is accomplished by using the tracking capacities of the sensor. The sensor will track the user skeleton and it will publish the body joints on-the-fly. This allows the system to save motion information over time. After the motion generalization, the system is prepared to map it to NAO, which is then able to reproduce it. A movement classification module was also implemented for movement detection. If the system is able to identify a movement that was previously classified, the robot is ready to reproduce it. The robot will reproduce the movement from the database of already known movements. It was also developed an imitation module for the system. This module allows the robot to reproduce the user upper-body pose. In order to accomplish the described skills the system is also equipped with voice recognition and at the same time it can reply using NAO speech capacities.This type of system is a growing system where other skills can always be added. It also works the other way around, the skills of the work proposed here have the potential to be included in future works. Hopefully it will come to a point where it exists a system advanced enough suited to help children in this situations. Small steps like the proposed system are the way to accomplish it. .2016-09-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/81545http://hdl.handle.net/10316/81545TID:202056821engMedeiros, Jose Pedro da Silva Figueiredoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T13:48:42Zoai:estudogeral.uc.pt:10316/81545Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:03:36.077371Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
Child-robot interaction: Learning by Imitation using Motion Generalization
title Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
spellingShingle Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
Medeiros, Jose Pedro da Silva Figueiredo
Kinect Motion Learning
Child-Robot interaction
Kinect
NAO
ROS
Kinect
NAO
ROS
title_short Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
title_full Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
title_fullStr Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
title_full_unstemmed Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
title_sort Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação
author Medeiros, Jose Pedro da Silva Figueiredo
author_facet Medeiros, Jose Pedro da Silva Figueiredo
author_role author
dc.contributor.author.fl_str_mv Medeiros, Jose Pedro da Silva Figueiredo
dc.subject.por.fl_str_mv Kinect Motion Learning
Child-Robot interaction
Kinect
NAO
ROS
Kinect
NAO
ROS
topic Kinect Motion Learning
Child-Robot interaction
Kinect
NAO
ROS
Kinect
NAO
ROS
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2016
dc.date.none.fl_str_mv 2016-09-21
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/81545
http://hdl.handle.net/10316/81545
TID:202056821
url http://hdl.handle.net/10316/81545
identifier_str_mv TID:202056821
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133929618276352

Registros relacionados