Defense methods for convolutional neural networks against adversarial attacks

Detalhes bibliográficos
Autor(a) principal: Zago, João Gabriel
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/226929
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.
id UFSC_0791bd6967d5ba2eea822704a9f25c52
oai_identifier_str oai:repositorio.ufsc.br:123456789/226929
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Defense methods for convolutional neural networks against adversarial attacksEngenharia de sistemasAutomaçãoRedes neurais (Computação)Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.Mesmo com seu sucesso na classificação de imagens, as redes neurais convolucionais são frágeis com relação a pequenas perturbações inseridas nas imagens que tal modelo deve classificar: pequenas alterações nos valores de alguns dos \textit{pixels} da sua entrada podem resultar em uma classificação de saída completamente diferente. Tais imagens intencionalmente perturbadas para enganar o classificador são conhecidas como exemplos adversários. A vulnerabilidade das redes neurais convolucionais com respeito aos exemplos adversários levanta um alerta com relação a utilização destes modelos em aplicações que necessitam de garantias de segurança: que envolvem risco a vida, ambiental, ou tem implicações financeiras. Esta dissertação contém dois métodos complementares e computacionalmente baratos que buscam auxiliar a aliviar e eliminar tal vulnerabilidade. a) uma nova estratégias que reduz a efetividade de ataques adversários, ofuscando as saídas da rede neural a partir da adição de perturbações controladas, não necessitando de nenhum tipo de treinamento; e b) um método que emprega a lei de Benford para distinguir imagens sem perturbação de exemplos adversários, provendo uma proteção extra que age nas entradas de um classificador vulnerável. O primeiro método de defesa desenvolvido (a) não somente reduz a taxa de sucesso, mas também força a adição de uma perturbação de maior magnitude por parte do atacante. O estudo conduzido em (b) indicou que: 1) imagens adversárias possuem uma tendência de desviar de forma significativa com respeito a lei de Benford, em comparação com imagens que não foram perturbadas; 2) há um incremento deste desvio com o aumento da perturbação inserida; e 3) em alguns casos é possível identificar ataques em andamento através de um monitoramento deste desvio, o que torna possível o desligamento do atacante antes que o mesmo complete a sua operação e crie um exemplo adversário. Por fim, pelo fato de ambos os métodos propostos serem ortogonais, é esperada uma maior proteção contra ataques adversários ao se utilizar ambos simultaneamente.Abstract: Despite its success in image classification, Convolutional Neural Networks (CNN) are still fragile to small perturbations in the input images they have to classify: slight changes in the values of some pixels might result in completely different network outputs. Such images purposefully perturbed to deceive a classifier are known as adversarial images. This vulnerability of CNN to adversarial images raises concerns in safety-sensitive applications: involving life-threatening, environmental, or financial implications. This thesis proposes two computationally cheap and complementary methods to help circumvent and alleviate this fragility of CNN: a) a novel strategy that reduces the success of adversarial attacks by obfuscating the softmax output, which does not require any network training; and b) a method that employs Benford's Law for distinguishing transformed natural images from transformed adversarial ones at the pixel level, providing an extra shield acting at the input layer of vulnerable CNN. The defense we developed in (a) not only decreases the attack success rate but also forces the attack algorithm to insert larger perturbations in the input images. The study conducted in (b) indicates that: 1) adversarial images tend to deviate significantly more from Benford's distribution than unaltered images; 2) this deviation increases with the magnitude of the perturbation; 3) in some cases, it is possible to identify ongoing attacks by online monitoring this deviation, making it possible to turn off the classifier for the particular requester before it completes an attack. Finally, these two methods are orthogonal in that we expect the CNN classifier to get better protection against attacks while using them simultaneously.Baldissera, Fabio LuisSaad, Rodrigo TaclaUniversidade Federal de Santa CatarinaZago, João Gabriel2021-08-23T14:05:07Z2021-08-23T14:05:07Z2021info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis66 p.| il., gráfs., tabs.application/pdf371965https://repositorio.ufsc.br/handle/123456789/226929engreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2021-08-23T14:05:08Zoai:repositorio.ufsc.br:123456789/226929Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732021-08-23T14:05:08Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Defense methods for convolutional neural networks against adversarial attacks
title Defense methods for convolutional neural networks against adversarial attacks
spellingShingle Defense methods for convolutional neural networks against adversarial attacks
Zago, João Gabriel
Engenharia de sistemas
Automação
Redes neurais (Computação)
title_short Defense methods for convolutional neural networks against adversarial attacks
title_full Defense methods for convolutional neural networks against adversarial attacks
title_fullStr Defense methods for convolutional neural networks against adversarial attacks
title_full_unstemmed Defense methods for convolutional neural networks against adversarial attacks
title_sort Defense methods for convolutional neural networks against adversarial attacks
author Zago, João Gabriel
author_facet Zago, João Gabriel
author_role author
dc.contributor.none.fl_str_mv Baldissera, Fabio Luis
Saad, Rodrigo Tacla
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Zago, João Gabriel
dc.subject.por.fl_str_mv Engenharia de sistemas
Automação
Redes neurais (Computação)
topic Engenharia de sistemas
Automação
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2021.
publishDate 2021
dc.date.none.fl_str_mv 2021-08-23T14:05:07Z
2021-08-23T14:05:07Z
2021
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 371965
https://repositorio.ufsc.br/handle/123456789/226929
identifier_str_mv 371965
url https://repositorio.ufsc.br/handle/123456789/226929
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 66 p.| il., gráfs., tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652079544139776

Registros relacionados