Liveness Detection and Facial Recognition with Multi-Modal Features

Detalhes bibliográficos
Autor(a) principal: Graça, André Pereira
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/98190
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_257cd24a3e01217933b742816dab37b4
oai_identifier_str oai:estudogeral.uc.pt:10316/98190
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Liveness Detection and Facial Recognition with Multi-Modal FeaturesDeteção de Vivacidade e Reconhecimento Facial com Aspetos MultimodaisDeteção de vivacidadeReconhecimento FacialMulti-modalidadesTempo-RealBiometriaLiveness DetectionFacial RecognitionMulti-modalitiesReal-TimeBiometricsDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaO interesse pelo tema detecção de vivacidade tem vindo a aumentar nos últimos anos devido ao desenvolvimento de novas ferramentas e conhecimentos na área de biometria. A detecção de vivacidade é essencial em sistemas de autenticação de identidade para impedir que alguém tenham acesso a informações confidenciais ilegalmente. Os sistemas de autenticação facial existentes podem ser enganados através de uma simples fotografia de um usuário legítimo, que pode ser facilmente obtida por meio de redes sociais, vídeo ou máscaras 3D. Vários algoritmos com o objetivo de deteção de vivacidade têm sido propostos para lidar com este problema, usando diferentes abordagens e numerosas bases de dados.A precisão do reconhecimento de rosto é significativamente melhorada usando redes de neuronais profundas devido à sua capacidade de extrair características profundas de rostos humanos. A combinação de recursos de vivacidade das imagens fornece uma generalização melhor para um classificador de liveness detection facial, aproveitando a fusão de recursos ou abordagens de fusão de modalidades, usada por todos os métodos anti-spoofing facial de última geração.Esta dissertação teve como objetivo a criação de um sistema de Detecção de Vivacidade e Reconhecimento Facial baseado em redes neurais convolucionais (RNC) e utilizando informações obtidas de 3 modalidades diferentes (RGB, Infra-vermelhos e Imagens de profundidade). O uso de múltiplas modalidades neste contexto ainda está a ser explorado, e ainda há muito desenvolvimento necessário para alcançar um sistema de autenticação biométrica perfeito.Para avaliar a precisão do nosso sistema, testamos a nossa rede na base de dados CASIA-SURF, que é uma base de dados com imagens faciais provenientes de diferentes modalidades bastante conhecido, e também criamos uma base de dados especificamente para esta tarefa. Testamos a nossa rede com diferentes arquiteturas e vários módulos e implementamos um sistema biométrico que pode funcionar no mundo real em tempo real. Os resultados foram promissores, mostrando a possibilidade de utilização desse sistema para autenticação de usuários no mundo real.The interest in the topic of Liveness Detection has been increasing in the past few years due to the development of new tools and knowledge in the area of biometry. Liveness Detection is essential in user authentication systems to stop intruders from gaining access to confidential information illegally. The face authentication systems we have today can be victims to a simple photograph of a legitimate user, which can be easily obtained through social media networks, video replay, or 3D masks.Various face anti-spoofing algorithms have been proposed to tackle this problem, using different approaches, and numerous public face anti-spoofing databases and competitions.Face recognition accuracy is significantly improved using deep learning networks due to their ability to extract human faces’ deep features.The combination of liveness features from the image visual cues provides a better generalization for a face anti-spoofing classifier, taking advantage of the feature fusion or score fusion approach, used by all the state-of-the-art face anti-spoofing measures. This dissertation aimed to create a Liveness Detection and Facial Recognition system based on convolutional neural networks (CNN) and using information collected from 3 different modalities (RGB, Infra-Red, and Depth images). The use of multiple modalities in this context is still being explored, and there is still much development needed to achieve the perfect biometric authentication system.To evaluate the accuracy of our system, we tested with the network on the CASIA-SURF Dataset, which is a well-known multi-modality dataset, and we also created a dataset precisely for this task. We tested our network with different network architectures and modules and implemented a biometric system that can work in the real world in real-time. The results were promising, showing the possibility of using this system for user authentication in the real world2021-12-09info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/98190http://hdl.handle.net/10316/98190TID:202920321engGraça, André Pereirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T10:16:45Zoai:estudogeral.uc.pt:10316/98190Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:16:05.090227Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Liveness Detection and Facial Recognition with Multi-Modal Features
Deteção de Vivacidade e Reconhecimento Facial com Aspetos Multimodais
title Liveness Detection and Facial Recognition with Multi-Modal Features
spellingShingle Liveness Detection and Facial Recognition with Multi-Modal Features
Graça, André Pereira
Deteção de vivacidade
Reconhecimento Facial
Multi-modalidades
Tempo-Real
Biometria
Liveness Detection
Facial Recognition
Multi-modalities
Real-Time
Biometrics
title_short Liveness Detection and Facial Recognition with Multi-Modal Features
title_full Liveness Detection and Facial Recognition with Multi-Modal Features
title_fullStr Liveness Detection and Facial Recognition with Multi-Modal Features
title_full_unstemmed Liveness Detection and Facial Recognition with Multi-Modal Features
title_sort Liveness Detection and Facial Recognition with Multi-Modal Features
author Graça, André Pereira
author_facet Graça, André Pereira
author_role author
dc.contributor.author.fl_str_mv Graça, André Pereira
dc.subject.por.fl_str_mv Deteção de vivacidade
Reconhecimento Facial
Multi-modalidades
Tempo-Real
Biometria
Liveness Detection
Facial Recognition
Multi-modalities
Real-Time
Biometrics
topic Deteção de vivacidade
Reconhecimento Facial
Multi-modalidades
Tempo-Real
Biometria
Liveness Detection
Facial Recognition
Multi-modalities
Real-Time
Biometrics
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-12-09
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/98190
http://hdl.handle.net/10316/98190
TID:202920321
url http://hdl.handle.net/10316/98190
identifier_str_mv TID:202920321
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134056785379328

Registros relacionados