Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation

Detalhes bibliográficos
Autor(a) principal: Carvalho, Daniel Chichorro de
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/86556
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_85826571b1db1e4a4861485891d46b10
oai_identifier_str oai:estudogeral.uc.pt:10316/86556
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Development of a Facial Feature Detection and Tracking Framework for Robust Gaze EstimationDesenvolvimento de uma Aplicação para Detecção e Seguimento de Pontos Faciais para Estimação Robusta da Direcção do Olhardeteção facialdeteção pontos faciaisseguimento de pontos faciaisinteração humano-robôestimação da direção do olharfacial detectionfacial feature detectionfacial feature trackinghuman-robot interactiongaze estimationDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaA estimação remota do olhar é o processo de tentar descobrir a direção do olhar de um humano, e ultimamente, o seu objeto de fixação, tal como os humanos o fazem para comunicar, partindo de informação de imagem capturada remotamente. Este processo é conseguido utilizando informação relativa à orientação da sua cabeça e à geometria dos pontos de referência faciais. Tem muitas aplicações, nomeadamente para Interface Homem-Máquina. No entanto, a deteção e seguimento de pontos faciais é um dos focos mais importantes de Visão por Computador, e nenhuma solução exibe uma robustez satisfatória em condições gerais. A maior parte das abordagens a este objetivo partem de cenários com alta resolução e poses de cabeça essencialmente frontais, e nenhuma abordagem encontrada contempla tanto caras frontais como de perfil. Este trabalho propõe um sistema que tenta alcançar uma melhor performance em pessoas mais distantes, e incorporando seguimento de pontos faciais em caras de perfil. O método desenvolvido baseia-se numa comparação da geometria obtida por detetores independentes de pontos faciais com diferentes modelos geométricos da cara humana, que capturam diferentes orientações da cabeça. O seguimento é feito pelo algoritmo KLT, e deteções parciais ou totais são lançadas por um design baseado em confianças. Uma demonstração conceptual é feita, mostrando que a solução proposta atinge de forma satisfatória os requisitos principais. Trabalho futuro é sugerido para melhorar a performance e lidar com as restantes questões.Remote gaze estimation is the process of attempting to find the gaze direction, or ultimately, the point of fixation of a human subject, much like humans do to engage in communication. This is achieved by using information from the head pose and geometry of facial feature landmarks. This is useful for a number of applications, namely human-machine-interfacing. However, facial feature detection and tracking remains today one of the most important foci of Computer Vision, and no solution for a general-purpose facial feature detector and tracker exhibits satisfactory robustness under in-the-wild conditions. Most approaches towards this goal rely on high-resolution scenarios and overly near-frontal head poses, and no work was found accounting for both near-frontal and profile views during tracking. This work proposes a proof-of-concept that attempts to achieve better performance on distant subjects, and incorporating tracking of facial features in profile views. The designed method is based on a comparison of the shape geometry obtained from independent feature detectors to different shape models of the human face, capturing different head poses. Tracking is performed by the use of the KLT algorithm, and partial or full re-detections are triggered by a confidence-based design. A proof-of-concept is presented showing that the proposed solution satisfactorily addresses main functional requirements. Future work is suggested to further improve performance and address remaining issues.2018-05-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/86556http://hdl.handle.net/10316/86556TID:202219216engCarvalho, Daniel Chichorro deinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T10:05:34Zoai:estudogeral.uc.pt:10316/86556Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:07:40.832657Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
Desenvolvimento de uma Aplicação para Detecção e Seguimento de Pontos Faciais para Estimação Robusta da Direcção do Olhar
title Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
spellingShingle Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
Carvalho, Daniel Chichorro de
deteção facial
deteção pontos faciais
seguimento de pontos faciais
interação humano-robô
estimação da direção do olhar
facial detection
facial feature detection
facial feature tracking
human-robot interaction
gaze estimation
title_short Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
title_full Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
title_fullStr Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
title_full_unstemmed Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
title_sort Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
author Carvalho, Daniel Chichorro de
author_facet Carvalho, Daniel Chichorro de
author_role author
dc.contributor.author.fl_str_mv Carvalho, Daniel Chichorro de
dc.subject.por.fl_str_mv deteção facial
deteção pontos faciais
seguimento de pontos faciais
interação humano-robô
estimação da direção do olhar
facial detection
facial feature detection
facial feature tracking
human-robot interaction
gaze estimation
topic deteção facial
deteção pontos faciais
seguimento de pontos faciais
interação humano-robô
estimação da direção do olhar
facial detection
facial feature detection
facial feature tracking
human-robot interaction
gaze estimation
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2018
dc.date.none.fl_str_mv 2018-05-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/86556
http://hdl.handle.net/10316/86556
TID:202219216
url http://hdl.handle.net/10316/86556
identifier_str_mv TID:202219216
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133967887106048

Registros relacionados