Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens

Detalhes bibliográficos
Autor(a) principal: Edvaldo Castro da Silva Junior
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://doi.org/10.11606/D.59.2022.tde-22112022-152337
Resumo: O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.
id USP_a7cae5b26154795601487f1d8a774864
oai_identifier_str oai:teses.usp.br:tde-22112022-152337
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens Convolutional neural network construction and analysis with pulsed neurons for classification of images 2022-10-17Antonio Carlos Roque da Silva FilhoAriadne de Andrade CostaNilton Liuji KamijiEdvaldo Castro da Silva JuniorUniversidade de São PauloComputação AplicadaUSPBR Classificação de imagens Convolutional neural network Image classification Neurônios pulsados Rede neural convolucional Spiking neurons O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável. The main objective of this dissertation was to construct an implementation of the convolutional spiking neural network with integrate-and-fire neurons proposed by Kheradipsheh et al. in 2018 for the task of image classification, and to investigate the consequences of variations in some network architecture parameters on its performance. The network has the following architecture: (i) the first layer receives the image, applies to it a difference of Gaussians kernel and generates a spike train which represents the characteristics of the image in the temporal domain; (ii) a cascade of alternate convolutional and pooling layers, composed of spiking neurons; and (iii) a global pooling layer used in the classification phase, whose output is used to train a multilayer perceptron. Experimental studies with biological neural networks show that neural processing has a strong stochastic component, and this makes the analysis of models that include stochasticity relevant for an understanding of brain activity. Thus, in addition to the studies with the deterministic version of the network, experiments with stochastic integrate-and-fire neurons were made. The convolutional layers were trained according to a simple spike timing dependent plasticity (STDP) rule, which is an unsupervised physiological learning mechanism that tends to strengthen synapses between neurons whose spikes are temporally and causally correlated. Pooling layers add invariance to the model, compressing data. Lastly, the multilayer perceptron indicates to which class the image belongs. For each studied case, the accuracy and behavior of the network were registered and analyzed. In spite of the inferior results compared to state-of-the-art convolutional spiking neural networks, the network developed in this work showed good accuracy for three known image datasets. This indicates that the developed network is promising and capable of better performance if configured with an adequate and intuitively achievable set of parameters. https://doi.org/10.11606/D.59.2022.tde-22112022-152337info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USP2023-12-21T19:55:28Zoai:teses.usp.br:tde-22112022-152337Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212023-12-22T13:10:00.410831Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.pt.fl_str_mv Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
dc.title.alternative.en.fl_str_mv Convolutional neural network construction and analysis with pulsed neurons for classification of images
title Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
spellingShingle Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
Edvaldo Castro da Silva Junior
title_short Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_full Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_fullStr Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_full_unstemmed Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_sort Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
author Edvaldo Castro da Silva Junior
author_facet Edvaldo Castro da Silva Junior
author_role author
dc.contributor.advisor1.fl_str_mv Antonio Carlos Roque da Silva Filho
dc.contributor.referee1.fl_str_mv Ariadne de Andrade Costa
dc.contributor.referee2.fl_str_mv Nilton Liuji Kamiji
dc.contributor.author.fl_str_mv Edvaldo Castro da Silva Junior
contributor_str_mv Antonio Carlos Roque da Silva Filho
Ariadne de Andrade Costa
Nilton Liuji Kamiji
description O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.
publishDate 2022
dc.date.issued.fl_str_mv 2022-10-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://doi.org/10.11606/D.59.2022.tde-22112022-152337
url https://doi.org/10.11606/D.59.2022.tde-22112022-152337
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade de São Paulo
dc.publisher.program.fl_str_mv Computação Aplicada
dc.publisher.initials.fl_str_mv USP
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Universidade de São Paulo
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1794502982995279872