Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial

Detalhes bibliográficos
Autor(a) principal: Biff, Lucas da Silva
Data de Publicação: 2019
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/212988
Resumo: Atualmente, as tecnologias de redes neurais permitem realizar atividades de reconhecimento facial com uma precisão nunca vista antes. Reconhecimento facial está sendo usado para fins de mídia social, para, por exemplo, reconhecimento de pessoas que estão presentes em uma foto. No entanto, também está sendo usado por departamentos de polícia para identificar participantes de protestos. Isso tem causando uma discussão quanto a invasão de privacidade e existe um movimento de pessoas que tentam desenvolver maneiras de evitar esse sistema de vigilância contante. Muitos estudos surgiram após a descoberta de que redes neurais são facilmente enganadas com pequenas alterações não vistas a olho nu. Nesse trabalho, investigamos uma variante de ataque que consiste no uso de uma abordagem de otimização para descobrir um conjunto geométrico simples, de diferentes escalas, posições e cores que, quando colocadas sobre o rosto da pessoa, faz com que uma rede neural não consiga realizar classificações corretamente. Métodos de estado da arte têm um percentual de sucesso de ataques em aproximadamente, no mínimo, 88%. Entretanto, esses métodos atingem esse percentual utilizando padrões geométricos extremamente complexos e envolvendo mudanças substanciais no rosto de uma pessoa, o que nem sempre pode ser factível de ser implementado na vida real. Por outro lado, investigamos neste trabalho ataques com padrões geométricos significativamente mais simples do que aqueles investigado pelos métodos de estado da arte. Com a nossa abordagem, nós mostramos que ainda é possível atacar essas redes, embora com um percentual de sucesso menor (34%), mas com a vantagem que o processo de otimização se torna mais fácil. Os padrões geométricos descobertos são compostos por formas geométricas simples e visíveis ao olho nu, ao contrário do que acontece no estado da arte quando frequentemente pixels individuais precisam ter suas cores alteradas para valores específicos. Nós demonstramos os resultados empiricamente atacando uma rede neural de convolução treinada no conjunto de dados VGGFace2, o qual envolve aproximadamente 9000 classes. Embora esse trabalho seja apenas uma investigação preliminar, é direcionado que abordagens complementares, com aquela já existentes na literatura, podem ser bem-sucedidas mesmo que envolvam padrões de ataque mais simples que os tipicamente investigados.
id UFRGS-2_b5c5dde4b8921f96dd207c1e9f21af58
oai_identifier_str oai:www.lume.ufrgs.br:10183/212988
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Biff, Lucas da SilvaSilva, Bruno Castro da2020-08-19T03:39:22Z2019http://hdl.handle.net/10183/212988001117221Atualmente, as tecnologias de redes neurais permitem realizar atividades de reconhecimento facial com uma precisão nunca vista antes. Reconhecimento facial está sendo usado para fins de mídia social, para, por exemplo, reconhecimento de pessoas que estão presentes em uma foto. No entanto, também está sendo usado por departamentos de polícia para identificar participantes de protestos. Isso tem causando uma discussão quanto a invasão de privacidade e existe um movimento de pessoas que tentam desenvolver maneiras de evitar esse sistema de vigilância contante. Muitos estudos surgiram após a descoberta de que redes neurais são facilmente enganadas com pequenas alterações não vistas a olho nu. Nesse trabalho, investigamos uma variante de ataque que consiste no uso de uma abordagem de otimização para descobrir um conjunto geométrico simples, de diferentes escalas, posições e cores que, quando colocadas sobre o rosto da pessoa, faz com que uma rede neural não consiga realizar classificações corretamente. Métodos de estado da arte têm um percentual de sucesso de ataques em aproximadamente, no mínimo, 88%. Entretanto, esses métodos atingem esse percentual utilizando padrões geométricos extremamente complexos e envolvendo mudanças substanciais no rosto de uma pessoa, o que nem sempre pode ser factível de ser implementado na vida real. Por outro lado, investigamos neste trabalho ataques com padrões geométricos significativamente mais simples do que aqueles investigado pelos métodos de estado da arte. Com a nossa abordagem, nós mostramos que ainda é possível atacar essas redes, embora com um percentual de sucesso menor (34%), mas com a vantagem que o processo de otimização se torna mais fácil. Os padrões geométricos descobertos são compostos por formas geométricas simples e visíveis ao olho nu, ao contrário do que acontece no estado da arte quando frequentemente pixels individuais precisam ter suas cores alteradas para valores específicos. Nós demonstramos os resultados empiricamente atacando uma rede neural de convolução treinada no conjunto de dados VGGFace2, o qual envolve aproximadamente 9000 classes. Embora esse trabalho seja apenas uma investigação preliminar, é direcionado que abordagens complementares, com aquela já existentes na literatura, podem ser bem-sucedidas mesmo que envolvam padrões de ataque mais simples que os tipicamente investigados.Nowadays neural network technologies allow for facial recognition activities with a performance never seen before. Face recognition is being used for social media purposes, for example, for recognition of people who are present in a photograph. However, it is also being used by police departments to identify protesters. This has been causing a debate as invasion of privacy issues and there is a growing movement of people trying to develop ways to avoid being subject to a constant surveillance system. Many studies have emerged after the discovery that neural networks are easily fooled by minor changes not seen with the naked eye. In this paper we investigate a variant of attack that consists of using an optimization approach to discover a simple geometric set of forms of different scales, positions and colors that, when placed on the person’s face, causes the neural network to misclassify its input. State-of-the-art methods have a success rate of attacks of at least 88%. However, these methods achieve this percentage using extremely complex geometric patterns and involving substantial changes in a person’s face which may not always be feasible to implement in real life. On the other hand we investigated in this work attacks with significantly simpler geometric patterns than those investigated by state of the art methods. With our approach we have shown that it is still possible to attack these networks even with a lower percentage of failure (34%) but with the advantage that the optimization process becomes easier and that the discovered geometric patterns, which are capable of attacking the networks, are composed of simple geometric shapes visible to the naked eye as opposed to what happens in the state of the art when often individual pixels need to have their colors changed to specific values. We demonstrate the results empirically by attacking a trained convolution neural network in the VGGFace2 dataset which has approximately 9000 classes. Although this work is only a preliminary investigation, it is intended that complementary approaches such as those already available in the literature may be successful even if they involve simpler attack patterns than those typically investigated.application/pdfporInformáticaNeural NetworksAdversarial AttacksFace RecognitionUm método de ataque adversarial a redes neurais convolutivas para reconhecimento facialAn adversarial attack method on convolutional neural networks for facial recognition info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RSCiência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001117221.pdf.txt001117221.pdf.txtExtracted Texttext/plain72906http://www.lume.ufrgs.br/bitstream/10183/212988/2/001117221.pdf.txtf6b4405f46f5276ca41b1a1b889393caMD52ORIGINAL001117221.pdfTexto completoapplication/pdf6947370http://www.lume.ufrgs.br/bitstream/10183/212988/1/001117221.pdf8e761db3d153d7c3ceec4479871cec74MD5110183/2129882020-08-20 03:38:02.34709oai:www.lume.ufrgs.br:10183/212988Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2020-08-20T06:38:02Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
dc.title.alternative.en.fl_str_mv An adversarial attack method on convolutional neural networks for facial recognition
title Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
spellingShingle Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
Biff, Lucas da Silva
Informática
Neural Networks
Adversarial Attacks
Face Recognition
title_short Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
title_full Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
title_fullStr Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
title_full_unstemmed Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
title_sort Um método de ataque adversarial a redes neurais convolutivas para reconhecimento facial
author Biff, Lucas da Silva
author_facet Biff, Lucas da Silva
author_role author
dc.contributor.author.fl_str_mv Biff, Lucas da Silva
dc.contributor.advisor1.fl_str_mv Silva, Bruno Castro da
contributor_str_mv Silva, Bruno Castro da
dc.subject.por.fl_str_mv Informática
topic Informática
Neural Networks
Adversarial Attacks
Face Recognition
dc.subject.eng.fl_str_mv Neural Networks
Adversarial Attacks
Face Recognition
description Atualmente, as tecnologias de redes neurais permitem realizar atividades de reconhecimento facial com uma precisão nunca vista antes. Reconhecimento facial está sendo usado para fins de mídia social, para, por exemplo, reconhecimento de pessoas que estão presentes em uma foto. No entanto, também está sendo usado por departamentos de polícia para identificar participantes de protestos. Isso tem causando uma discussão quanto a invasão de privacidade e existe um movimento de pessoas que tentam desenvolver maneiras de evitar esse sistema de vigilância contante. Muitos estudos surgiram após a descoberta de que redes neurais são facilmente enganadas com pequenas alterações não vistas a olho nu. Nesse trabalho, investigamos uma variante de ataque que consiste no uso de uma abordagem de otimização para descobrir um conjunto geométrico simples, de diferentes escalas, posições e cores que, quando colocadas sobre o rosto da pessoa, faz com que uma rede neural não consiga realizar classificações corretamente. Métodos de estado da arte têm um percentual de sucesso de ataques em aproximadamente, no mínimo, 88%. Entretanto, esses métodos atingem esse percentual utilizando padrões geométricos extremamente complexos e envolvendo mudanças substanciais no rosto de uma pessoa, o que nem sempre pode ser factível de ser implementado na vida real. Por outro lado, investigamos neste trabalho ataques com padrões geométricos significativamente mais simples do que aqueles investigado pelos métodos de estado da arte. Com a nossa abordagem, nós mostramos que ainda é possível atacar essas redes, embora com um percentual de sucesso menor (34%), mas com a vantagem que o processo de otimização se torna mais fácil. Os padrões geométricos descobertos são compostos por formas geométricas simples e visíveis ao olho nu, ao contrário do que acontece no estado da arte quando frequentemente pixels individuais precisam ter suas cores alteradas para valores específicos. Nós demonstramos os resultados empiricamente atacando uma rede neural de convolução treinada no conjunto de dados VGGFace2, o qual envolve aproximadamente 9000 classes. Embora esse trabalho seja apenas uma investigação preliminar, é direcionado que abordagens complementares, com aquela já existentes na literatura, podem ser bem-sucedidas mesmo que envolvam padrões de ataque mais simples que os tipicamente investigados.
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2020-08-19T03:39:22Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/212988
dc.identifier.nrb.pt_BR.fl_str_mv 001117221
url http://hdl.handle.net/10183/212988
identifier_str_mv 001117221
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/212988/2/001117221.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/212988/1/001117221.pdf
bitstream.checksum.fl_str_mv f6b4405f46f5276ca41b1a1b889393ca
8e761db3d153d7c3ceec4479871cec74
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224597801009152