Monitoring of Ocular Data for Robotic Control

Detalhes bibliográficos
Autor(a) principal: Pereira, João Miguel Gomes
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/88086
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_c18b9b086faa67271a7a6c665dc65a4d
oai_identifier_str oai:estudogeral.uc.pt:10316/88086
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Monitoring of Ocular Data for Robotic ControlMonitorização do Movimento Ocular para Controlo RobóticoROSTele-manipulaçãoPupil Eye TrackerKinova JacoArucoROSTelemanipulationPupil Eye TrackerKinova JacoArucoDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaEsta dissertação tem como objetivo o controlo de um braço robótico, Kinova Jaco2, utilizando movimentos oculares de um utilizador. Esse tipo de controlo é explorado para fins assistivos, utilizadores com problemas de mobilidade ou simplesmente funcionalidades extra para interação homem-máquina.Uma breve análise do Eye Tracker é apresentada, onde são especificados os requisitos para sua comunicação com a interface de controle do robô escolhido. O uso da interface ROS permite o desenvolvimento dos componentes necessários para serem genéricos e modulares, que podem ser usados com outros braços robóticos. Para realizar o controle do robô considera-se a existência dos controladores ROS já desenvolvidos para o robô escolhido, assim os únicos requisitos são a geração de poses cartesianas desejadas.Usando dois blinks para sinalizar a geração de uma nova pose desejada, podendo esta ser gerada a partir da interseção do olhar do utilizador com a point cloud. Para isso, é necessário o conhecimento da localização do Eye Tracker no mundo obtido através de uma rigid body transform com marcadores Aruco colocados no mundo. A análise das características locais do ponto de interseção entre o olhar e a point cloud permite a extração da nova pose desejada. Um método de geração de pose adicional é implementado onde a seleção dos marcadores usando o foco visual do utilizador, sendo que para cada marcador a predefinição de uma pose desejada é necessária, o que permite o controlo do robô considerando a preparação do espaço de trabalho à priori.Em conclusão, os métodos desenvolvidos alcançaram uma precisão significativa, tendo em conta os erros inerentes presentes nos dados extraídos do Eye Tracker. Os métodos desenvolvidos para a geração de poses são específicos à aplicação, permitindo ao utilizador realizar tarefas semi-predefinidas mais rapidamente do que usando telemanipulação. Resultando em uma redução de ~30% no tempo de operação do robô.This dissertation has as its objective the control of a robotic arm, Kinova Jaco2, using ocular movements of a user. This type of control is explored in an assistive context, disabled users, or simply extra functionality in human-machine interaction.A brief analysis of the Eye Tracker is presented, where the requirements for its communication with the chosen robot control interface are specified. The use of the ROS interface allows the development of the necessary components to be generic and modular, which can be used with other robotic arms. To accomplish the robot control it is considered the existence of the ROS controllers already developed for the chosen robot, as such the only requirements are the generation of cartesian desired poses. Using double blinks to hint the generation of a new desired pose, then these can be generated from either the intersection of the detected user gaze with the world point cloud. For which is required the knowledge of the location of the Eye Tracker in the world obtained using a Rigid Body transform on Aruco markers placed in the world. Analyzing the local features of the intersection point between the gaze and the point cloud allows the extraction of a new desired pose. An additional pose generation method is implemented where the selection of world markers using the user gaze, for each marker the existence of a predefined desired pose is required, allows for robot control considering preparation of the workspace a prior.In conclusion, the methods developed achieved significant accuracy, considering the inherent errors present in the data extracted from the Eye Tracker. The developed methods for pose generation are application-specific, these allows the user to accomplish semi-predefined tasks faster than manipulation. Resulting in a ~30% reduction in the time operation of the robot.2019-04-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/88086http://hdl.handle.net/10316/88086TID:202306275engPereira, João Miguel Gomesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2021-05-12T09:52:05Zoai:estudogeral.uc.pt:10316/88086Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:08:52.495158Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Monitoring of Ocular Data for Robotic Control
Monitorização do Movimento Ocular para Controlo Robótico
title Monitoring of Ocular Data for Robotic Control
spellingShingle Monitoring of Ocular Data for Robotic Control
Pereira, João Miguel Gomes
ROS
Tele-manipulação
Pupil Eye Tracker
Kinova Jaco
Aruco
ROS
Telemanipulation
Pupil Eye Tracker
Kinova Jaco
Aruco
title_short Monitoring of Ocular Data for Robotic Control
title_full Monitoring of Ocular Data for Robotic Control
title_fullStr Monitoring of Ocular Data for Robotic Control
title_full_unstemmed Monitoring of Ocular Data for Robotic Control
title_sort Monitoring of Ocular Data for Robotic Control
author Pereira, João Miguel Gomes
author_facet Pereira, João Miguel Gomes
author_role author
dc.contributor.author.fl_str_mv Pereira, João Miguel Gomes
dc.subject.por.fl_str_mv ROS
Tele-manipulação
Pupil Eye Tracker
Kinova Jaco
Aruco
ROS
Telemanipulation
Pupil Eye Tracker
Kinova Jaco
Aruco
topic ROS
Tele-manipulação
Pupil Eye Tracker
Kinova Jaco
Aruco
ROS
Telemanipulation
Pupil Eye Tracker
Kinova Jaco
Aruco
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2019
dc.date.none.fl_str_mv 2019-04-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/88086
http://hdl.handle.net/10316/88086
TID:202306275
url http://hdl.handle.net/10316/88086
identifier_str_mv TID:202306275
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133981713629184

Registros relacionados