Real-time multi-network deep learning facial recognition for service robots
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/1822/76870 |
Resumo: | Tese de mestrado integrado em Engenharia Eletrónica Industrial e Computadores |
id |
RCAP_e1b9e9d8d5018a047fa46cd271eb2ec0 |
---|---|
oai_identifier_str |
oai:repositorium.sdum.uminho.pt:1822/76870 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Real-time multi-network deep learning facial recognition for service robotsDeep learningFacial recognitionFace detectionMulti-networkService robotsDeteção facialMulti-redeReconhecimento facialRobôs de serviçoEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaTese de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresRecent advances in generic service robots have shown their introduction in various novel environments such as domestic and healthcare facilities. The CHARMIE (Collaborative Home/Healthcare Assistant Robot by Minho Industrial Electronics) project is an anthropomorphic robot that performs generic service tasks in non-standardized environment settings using machine learning algorithms, which allow the robot to make rational decisions based directly on the surrounding environment. In order to ensure an enhanced interaction between the robot and its specified users, this dissertation presents a real-time multi-stage deep learning pipeline for facial recognition algorithm. By detecting which of the pre-trained users the robot is interacting with, it can adapt its actions to best fit the user's needs. The multi-network system is composed of three modules. A multi-stage cascaded convolutional network searches for facial landmarks, such as eyes, nose, or mouth, predicting its bounding box coordinates, detecting all the faces showcased in the camera frame. An Inception-ResNet deep convolutional network was trained on a large dataset for facial feature extraction, comparing different hyperparameter settings and fine-tuning. That generates the feature vectors and provides an amplified network for facial recognition and an SVM classifier to categorize each of the faces recognized to the correct user. The combination of the three modules allowed an end-to-end facial detection and recognition that can be used as a real-time user-based identification method. The resulting method was furthermore implemented on the general service robot CHARMIE. Those tasks were carried out on students and teachers from the Laboratory of Automation and Robotics (LAR) of Minho University. For that, a dataset containing those people was built using images fetch from individual videos, with random frames being rotated or flipped to create a more robust system.Avanços recentes em robôs de serviço genéricos permitiram a sua utilização inovadora em vários meios ambientes, como residências domésticas, hospitais ou centros de saúde. O projeto CHARMIE (Collaborative Home / Healthcare Assistant Robot da Minho Industrial Electronics) é um robô antropomórfico que realiza tarefas em configurações não convencionais usando algoritmos de aprendizagem de máquina, que permitem ao robô tomar decisões racionais com base nas variáveis do meio ambiente que o rodeia. Com a intenção de criar uma melhor interação entre o robô e seus operários, esta dissertação apresenta um sistema de Deep Learning para reconhecimento facial de várias instâncias. Ao identificar a pessoa com a qual está a interagir, o robô adapta-se para realizar as suas ações pré-definidas atendendo às necessidades dela. O sistema é composto por várias redes neuronais de modo a compor os três módulos constituintes. Uma rede convolucional em cascata de várias instâncias procura zonas faciais, como olhos, nariz ou boca, prevendo as coordenadas que permitem isolar as caras detetadas, detetando todos os rostos exibidos ao usar uma câmara. A rede neuronal Inception-ResNet foi treinada num dataset extenso apropriado, funcionando como extrator de características faciais. Isso gera os vetores característicos de pessoas que serão usados como input para um classificador SVM, um modelo de aprendizagem máquina que irá prever a qual das identidades esses vetores correspondem. Essa implementação de princípio a fim dos três módulos permitiu a deteção e reconhecimento facial para ser usado como um método de identificação de usuários em tempo real. O método resultante foi implementado no robô de serviços CHARMIE. Essas tarefas foram realizadas com alunos e professores do Laboratório de Automação e Robótica (LAR) da Universidade do Minho. Para isso, foi usado um conjunto de imagens obtidas a partir de vídeos individuais dessas pessoas, invertendo ou rodando algumas dessas imagens aleatoriamente de modo a criar um sistema mais robusto.Ribeiro, A. FernandoUniversidade do MinhoPereira, Nuno Miguel Azevedo20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/76870eng202887570info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:24:12Zoai:repositorium.sdum.uminho.pt:1822/76870Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:18:07.745707Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Real-time multi-network deep learning facial recognition for service robots |
title |
Real-time multi-network deep learning facial recognition for service robots |
spellingShingle |
Real-time multi-network deep learning facial recognition for service robots Pereira, Nuno Miguel Azevedo Deep learning Facial recognition Face detection Multi-network Service robots Deteção facial Multi-rede Reconhecimento facial Robôs de serviço Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
title_short |
Real-time multi-network deep learning facial recognition for service robots |
title_full |
Real-time multi-network deep learning facial recognition for service robots |
title_fullStr |
Real-time multi-network deep learning facial recognition for service robots |
title_full_unstemmed |
Real-time multi-network deep learning facial recognition for service robots |
title_sort |
Real-time multi-network deep learning facial recognition for service robots |
author |
Pereira, Nuno Miguel Azevedo |
author_facet |
Pereira, Nuno Miguel Azevedo |
author_role |
author |
dc.contributor.none.fl_str_mv |
Ribeiro, A. Fernando Universidade do Minho |
dc.contributor.author.fl_str_mv |
Pereira, Nuno Miguel Azevedo |
dc.subject.por.fl_str_mv |
Deep learning Facial recognition Face detection Multi-network Service robots Deteção facial Multi-rede Reconhecimento facial Robôs de serviço Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
topic |
Deep learning Facial recognition Face detection Multi-network Service robots Deteção facial Multi-rede Reconhecimento facial Robôs de serviço Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
description |
Tese de mestrado integrado em Engenharia Eletrónica Industrial e Computadores |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021 2021-01-01T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1822/76870 |
url |
http://hdl.handle.net/1822/76870 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
202887570 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799132635760427008 |