Real-time multi-network deep learning facial recognition for service robots

Detalhes bibliográficos
Autor(a) principal: Pereira, Nuno Miguel Azevedo
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/76870
Resumo: Tese de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
id RCAP_e1b9e9d8d5018a047fa46cd271eb2ec0
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/76870
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Real-time multi-network deep learning facial recognition for service robotsDeep learningFacial recognitionFace detectionMulti-networkService robotsDeteção facialMulti-redeReconhecimento facialRobôs de serviçoEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaTese de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresRecent advances in generic service robots have shown their introduction in various novel environments such as domestic and healthcare facilities. The CHARMIE (Collaborative Home/Healthcare Assistant Robot by Minho Industrial Electronics) project is an anthropomorphic robot that performs generic service tasks in non-standardized environment settings using machine learning algorithms, which allow the robot to make rational decisions based directly on the surrounding environment. In order to ensure an enhanced interaction between the robot and its specified users, this dissertation presents a real-time multi-stage deep learning pipeline for facial recognition algorithm. By detecting which of the pre-trained users the robot is interacting with, it can adapt its actions to best fit the user's needs. The multi-network system is composed of three modules. A multi-stage cascaded convolutional network searches for facial landmarks, such as eyes, nose, or mouth, predicting its bounding box coordinates, detecting all the faces showcased in the camera frame. An Inception-ResNet deep convolutional network was trained on a large dataset for facial feature extraction, comparing different hyperparameter settings and fine-tuning. That generates the feature vectors and provides an amplified network for facial recognition and an SVM classifier to categorize each of the faces recognized to the correct user. The combination of the three modules allowed an end-to-end facial detection and recognition that can be used as a real-time user-based identification method. The resulting method was furthermore implemented on the general service robot CHARMIE. Those tasks were carried out on students and teachers from the Laboratory of Automation and Robotics (LAR) of Minho University. For that, a dataset containing those people was built using images fetch from individual videos, with random frames being rotated or flipped to create a more robust system.Avanços recentes em robôs de serviço genéricos permitiram a sua utilização inovadora em vários meios ambientes, como residências domésticas, hospitais ou centros de saúde. O projeto CHARMIE (Collaborative Home / Healthcare Assistant Robot da Minho Industrial Electronics) é um robô antropomórfico que realiza tarefas em configurações não convencionais usando algoritmos de aprendizagem de máquina, que permitem ao robô tomar decisões racionais com base nas variáveis do meio ambiente que o rodeia. Com a intenção de criar uma melhor interação entre o robô e seus operários, esta dissertação apresenta um sistema de Deep Learning para reconhecimento facial de várias instâncias. Ao identificar a pessoa com a qual está a interagir, o robô adapta-se para realizar as suas ações pré-definidas atendendo às necessidades dela. O sistema é composto por várias redes neuronais de modo a compor os três módulos constituintes. Uma rede convolucional em cascata de várias instâncias procura zonas faciais, como olhos, nariz ou boca, prevendo as coordenadas que permitem isolar as caras detetadas, detetando todos os rostos exibidos ao usar uma câmara. A rede neuronal Inception-ResNet foi treinada num dataset extenso apropriado, funcionando como extrator de características faciais. Isso gera os vetores característicos de pessoas que serão usados como input para um classificador SVM, um modelo de aprendizagem máquina que irá prever a qual das identidades esses vetores correspondem. Essa implementação de princípio a fim dos três módulos permitiu a deteção e reconhecimento facial para ser usado como um método de identificação de usuários em tempo real. O método resultante foi implementado no robô de serviços CHARMIE. Essas tarefas foram realizadas com alunos e professores do Laboratório de Automação e Robótica (LAR) da Universidade do Minho. Para isso, foi usado um conjunto de imagens obtidas a partir de vídeos individuais dessas pessoas, invertendo ou rodando algumas dessas imagens aleatoriamente de modo a criar um sistema mais robusto.Ribeiro, A. FernandoUniversidade do MinhoPereira, Nuno Miguel Azevedo20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/76870eng202887570info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:24:12Zoai:repositorium.sdum.uminho.pt:1822/76870Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:18:07.745707Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Real-time multi-network deep learning facial recognition for service robots
title Real-time multi-network deep learning facial recognition for service robots
spellingShingle Real-time multi-network deep learning facial recognition for service robots
Pereira, Nuno Miguel Azevedo
Deep learning
Facial recognition
Face detection
Multi-network
Service robots
Deteção facial
Multi-rede
Reconhecimento facial
Robôs de serviço
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Real-time multi-network deep learning facial recognition for service robots
title_full Real-time multi-network deep learning facial recognition for service robots
title_fullStr Real-time multi-network deep learning facial recognition for service robots
title_full_unstemmed Real-time multi-network deep learning facial recognition for service robots
title_sort Real-time multi-network deep learning facial recognition for service robots
author Pereira, Nuno Miguel Azevedo
author_facet Pereira, Nuno Miguel Azevedo
author_role author
dc.contributor.none.fl_str_mv Ribeiro, A. Fernando
Universidade do Minho
dc.contributor.author.fl_str_mv Pereira, Nuno Miguel Azevedo
dc.subject.por.fl_str_mv Deep learning
Facial recognition
Face detection
Multi-network
Service robots
Deteção facial
Multi-rede
Reconhecimento facial
Robôs de serviço
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Deep learning
Facial recognition
Face detection
Multi-network
Service robots
Deteção facial
Multi-rede
Reconhecimento facial
Robôs de serviço
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Tese de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/76870
url http://hdl.handle.net/1822/76870
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 202887570
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132635760427008

Registros relacionados