An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification

Detalhes bibliográficos
Autor(a) principal: Dorneles, Lucas Marques
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/274053
Resumo: Redes neurais têm, nos últimos anos, crescido cada vez mais como ferramentas efetivas para a tarefa de classificação de imagens devido à alta performance que têm obtido nesta tarefa. Nessas tarefas de classificação, é comum o uso de estratégias de aumento de da dos. Elas aumentam a robustez dos modelos contra variações nas imagens de entrada e ajudam a evitar overfitting. Embora aumento de dados seja uma técnica amplamente ado tada, a pesquisa na área ainda falta com trabalhos que analisem os efeitos que métodos de aumento de dados têm nos padrões aprendidos por redes neurais trabalhando sobre data sets complexos. O principal objetivo deste trabalho é propor uma metodologia e conjunto de métricas que permitam uma abordagem quantitativa para a análise dos impactos que aumento de dados têm sobre redes neurais convolucionais na tarefa de classificação de imagem. Uma ferramenta importante utilizada nesta proposta de abordagem é o mapa de ativação de classes para os modelos de redes neurais, que nos permitem identificar e mensurar a importância que esses modelos dão para cada píxel individual numa imagem quando executam a tarefa de classificação. A partir destes mapas, podemos então extrair métricas sobre as similaridades e diferenças entre mapas gerados por modelos treinados em datasets com diferentes estratégias de aumento de dados. Experimentos feitos com esta metodologia sugerem que os efeitos destas diferentes técnicas de aumento de dados não apenas podem ser analisados desta maneira, mas também nos permitem identificar perfis de impacto diferentes sobre os modelos.
id UFRGS-2_3719df0e6b69cacd9d27b1d3db913ed0
oai_identifier_str oai:www.lume.ufrgs.br:10183/274053
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Dorneles, Lucas MarquesCarbonera, Joel LuisGarcia, Luan Fonseca2024-03-22T05:06:12Z2024http://hdl.handle.net/10183/274053001197949Redes neurais têm, nos últimos anos, crescido cada vez mais como ferramentas efetivas para a tarefa de classificação de imagens devido à alta performance que têm obtido nesta tarefa. Nessas tarefas de classificação, é comum o uso de estratégias de aumento de da dos. Elas aumentam a robustez dos modelos contra variações nas imagens de entrada e ajudam a evitar overfitting. Embora aumento de dados seja uma técnica amplamente ado tada, a pesquisa na área ainda falta com trabalhos que analisem os efeitos que métodos de aumento de dados têm nos padrões aprendidos por redes neurais trabalhando sobre data sets complexos. O principal objetivo deste trabalho é propor uma metodologia e conjunto de métricas que permitam uma abordagem quantitativa para a análise dos impactos que aumento de dados têm sobre redes neurais convolucionais na tarefa de classificação de imagem. Uma ferramenta importante utilizada nesta proposta de abordagem é o mapa de ativação de classes para os modelos de redes neurais, que nos permitem identificar e mensurar a importância que esses modelos dão para cada píxel individual numa imagem quando executam a tarefa de classificação. A partir destes mapas, podemos então extrair métricas sobre as similaridades e diferenças entre mapas gerados por modelos treinados em datasets com diferentes estratégias de aumento de dados. Experimentos feitos com esta metodologia sugerem que os efeitos destas diferentes técnicas de aumento de dados não apenas podem ser analisados desta maneira, mas também nos permitem identificar perfis de impacto diferentes sobre os modelos.Neural networks have grown more and more popular in the last few years as an effec tive tool for the task of image classification due to the impressive performance they have achieved on this task. In image classification tasks, it is common to use data augmentation strategies to increase the robustness of the trained networks to changes in the input im ages and to avoid overfitting. Although data augmentation is a widely adopted technique, the literature lacks a body of research analyzing the effects data augmentation methods have on the patterns learned by neural network models working on complex datasets. The primary objective of this work is to propose a methodology and set of metrics that may allow a quantitative approach to analyzing the effects of data augmentation in convolu tional networks applied to image classification. An important tool used in the proposed approach lies in the concept of class activation maps for said models, which allow us to identify and measure the importance these models assign to each individual pixel in an image when executing the classification task. From these maps, we may then extract met rics over the similarities and differences between maps generated by these models trained on a given dataset with different data augmentation strategies. Experiments made using this methodology suggest that the effects of these data augmentation techniques not only can be analyzed in this way but also allow us to identify different impact profiles over the trained models.application/pdfengInteligência artificialAprendizado de máquinaRedes neuraisData AugmentationExplainabilityImage classificationAn approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classificationUma abordagem baseada em mapas de ativação de classe para investigar os efeitos de aumento de dados em redes neurais para classificação de imagens info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2024Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001197949.pdf.txt001197949.pdf.txtExtracted Texttext/plain107030http://www.lume.ufrgs.br/bitstream/10183/274053/2/001197949.pdf.txtedf8f3723b1a3488f67f005b45b55840MD52ORIGINAL001197949.pdfTexto completo (inglês)application/pdf5041971http://www.lume.ufrgs.br/bitstream/10183/274053/1/001197949.pdf618fc78f1d5aa293a97b84e8a22adc27MD5110183/2740532024-03-23 05:00:30.461385oai:www.lume.ufrgs.br:10183/274053Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2024-03-23T08:00:30Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
dc.title.alternative.pt.fl_str_mv Uma abordagem baseada em mapas de ativação de classe para investigar os efeitos de aumento de dados em redes neurais para classificação de imagens
title An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
spellingShingle An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
Dorneles, Lucas Marques
Inteligência artificial
Aprendizado de máquina
Redes neurais
Data Augmentation
Explainability
Image classification
title_short An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
title_full An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
title_fullStr An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
title_full_unstemmed An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
title_sort An approach based on class activation maps for investigating the effects of data augmentation on neural networks for image classification
author Dorneles, Lucas Marques
author_facet Dorneles, Lucas Marques
author_role author
dc.contributor.author.fl_str_mv Dorneles, Lucas Marques
dc.contributor.advisor1.fl_str_mv Carbonera, Joel Luis
dc.contributor.advisor-co1.fl_str_mv Garcia, Luan Fonseca
contributor_str_mv Carbonera, Joel Luis
Garcia, Luan Fonseca
dc.subject.por.fl_str_mv Inteligência artificial
Aprendizado de máquina
Redes neurais
topic Inteligência artificial
Aprendizado de máquina
Redes neurais
Data Augmentation
Explainability
Image classification
dc.subject.eng.fl_str_mv Data Augmentation
Explainability
Image classification
description Redes neurais têm, nos últimos anos, crescido cada vez mais como ferramentas efetivas para a tarefa de classificação de imagens devido à alta performance que têm obtido nesta tarefa. Nessas tarefas de classificação, é comum o uso de estratégias de aumento de da dos. Elas aumentam a robustez dos modelos contra variações nas imagens de entrada e ajudam a evitar overfitting. Embora aumento de dados seja uma técnica amplamente ado tada, a pesquisa na área ainda falta com trabalhos que analisem os efeitos que métodos de aumento de dados têm nos padrões aprendidos por redes neurais trabalhando sobre data sets complexos. O principal objetivo deste trabalho é propor uma metodologia e conjunto de métricas que permitam uma abordagem quantitativa para a análise dos impactos que aumento de dados têm sobre redes neurais convolucionais na tarefa de classificação de imagem. Uma ferramenta importante utilizada nesta proposta de abordagem é o mapa de ativação de classes para os modelos de redes neurais, que nos permitem identificar e mensurar a importância que esses modelos dão para cada píxel individual numa imagem quando executam a tarefa de classificação. A partir destes mapas, podemos então extrair métricas sobre as similaridades e diferenças entre mapas gerados por modelos treinados em datasets com diferentes estratégias de aumento de dados. Experimentos feitos com esta metodologia sugerem que os efeitos destas diferentes técnicas de aumento de dados não apenas podem ser analisados desta maneira, mas também nos permitem identificar perfis de impacto diferentes sobre os modelos.
publishDate 2024
dc.date.accessioned.fl_str_mv 2024-03-22T05:06:12Z
dc.date.issued.fl_str_mv 2024
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/274053
dc.identifier.nrb.pt_BR.fl_str_mv 001197949
url http://hdl.handle.net/10183/274053
identifier_str_mv 001197949
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/274053/2/001197949.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/274053/1/001197949.pdf
bitstream.checksum.fl_str_mv edf8f3723b1a3488f67f005b45b55840
618fc78f1d5aa293a97b84e8a22adc27
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224679794409472

Registros relacionados