Propagação de alvos em redes neurais artificiais

Detalhes bibliográficos
Autor(a) principal: Farias, Tiago de Souza
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Manancial - Repositório Digital da UFSM
dARK ID: ark:/26339/001300000smg1
Texto Completo: http://repositorio.ufsm.br/handle/1/16956
Resumo: Artificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost.
id UFSM_ec5ab7bbd1536b57e6b665cff021ffb4
oai_identifier_str oai:repositorio.ufsm.br:1/16956
network_acronym_str UFSM
network_name_str Manancial - Repositório Digital da UFSM
repository_id_str
spelling Propagação de alvos em redes neurais artificiaisTarget propagation in artificial neural networksRede neuralTreinamentoPropagação de alvosInicializaçãoHiperparâmetrosEmaranhamentoNeural networkTrainingTarget propagationInitializationHyperparametersEntanglementCNPQ::CIENCIAS EXATAS E DA TERRA::FISICAArtificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESRede neural artificial é um tipo de inteligência artificial dedicada ao estudo de sistemas artificiais que aprendem com dados. O treinamento de redes neurais necessita de um método que evolua seus parâmetros internos de tal forma que melhore sua capacidade de resolver algum problema determinado. Propagação de alvos é um método de treinamento que calcula a melhor atividade neural para atingir um objetivo. Desenvolvemos uma variação da propagação de alvos que calcula a atividade ideal de acordo com o gradiente de uma função do objetivo. Inicialização aleatória de pesos é uma técnica para inicializar valores peso aleatórios presentes em redes neurais antes de treinamento. Apresentamos uma inicialização que considera a não-linearidade de neurônios e a distribuição de dados de entrada. Hiperparâmetros são valores que regulam variações de parâmetros de modificação. Estes valores são geralmente especificados heuristicamente, desperdiçando recursos computacionais. Mostramos uma forma de obter os hiperparâmetros sem a necessidade de algoritmos de busca. Rede neural quântica é um tipo de inteligência artificial que usa fenômenos quânticos para realizar computação. Inspirado em uma teoria de emaranhamento no cérebro biológico, desenvolvemos uma técnica de correlação quântica entre neurônios que melhora o desempenho sobre certas condições. Através do problema de classificação de imagens, os resultados mostram que as quatro técnicas desenvolvidas beneficiam o desempenho de redes neurais, podendo até mesmo reduzir o custo computacional em certos casos.Universidade Federal de Santa MariaBrasilFísicaUFSMPrograma de Pós-Graduação em FísicaCentro de Ciências Naturais e ExatasMaziero, Jonashttp://lattes.cnpq.br/1270437648097538Guerra, Rodrigo da Silvahttp://lattes.cnpq.br/4292452867996496Silva, Adenilton José dahttp://lattes.cnpq.br/0314035098884256Farias, Tiago de Souza2019-06-11T21:55:40Z2019-06-11T21:55:40Z2019-02-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/16956ark:/26339/001300000smg1porAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2019-06-12T06:01:35Zoai:repositorio.ufsm.br:1/16956Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2019-06-12T06:01:35Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false
dc.title.none.fl_str_mv Propagação de alvos em redes neurais artificiais
Target propagation in artificial neural networks
title Propagação de alvos em redes neurais artificiais
spellingShingle Propagação de alvos em redes neurais artificiais
Farias, Tiago de Souza
Rede neural
Treinamento
Propagação de alvos
Inicialização
Hiperparâmetros
Emaranhamento
Neural network
Training
Target propagation
Initialization
Hyperparameters
Entanglement
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
title_short Propagação de alvos em redes neurais artificiais
title_full Propagação de alvos em redes neurais artificiais
title_fullStr Propagação de alvos em redes neurais artificiais
title_full_unstemmed Propagação de alvos em redes neurais artificiais
title_sort Propagação de alvos em redes neurais artificiais
author Farias, Tiago de Souza
author_facet Farias, Tiago de Souza
author_role author
dc.contributor.none.fl_str_mv Maziero, Jonas
http://lattes.cnpq.br/1270437648097538
Guerra, Rodrigo da Silva
http://lattes.cnpq.br/4292452867996496
Silva, Adenilton José da
http://lattes.cnpq.br/0314035098884256
dc.contributor.author.fl_str_mv Farias, Tiago de Souza
dc.subject.por.fl_str_mv Rede neural
Treinamento
Propagação de alvos
Inicialização
Hiperparâmetros
Emaranhamento
Neural network
Training
Target propagation
Initialization
Hyperparameters
Entanglement
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
topic Rede neural
Treinamento
Propagação de alvos
Inicialização
Hiperparâmetros
Emaranhamento
Neural network
Training
Target propagation
Initialization
Hyperparameters
Entanglement
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
description Artificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost.
publishDate 2019
dc.date.none.fl_str_mv 2019-06-11T21:55:40Z
2019-06-11T21:55:40Z
2019-02-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufsm.br/handle/1/16956
dc.identifier.dark.fl_str_mv ark:/26339/001300000smg1
url http://repositorio.ufsm.br/handle/1/16956
identifier_str_mv ark:/26339/001300000smg1
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Física
UFSM
Programa de Pós-Graduação em Física
Centro de Ciências Naturais e Exatas
publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Física
UFSM
Programa de Pós-Graduação em Física
Centro de Ciências Naturais e Exatas
dc.source.none.fl_str_mv reponame:Manancial - Repositório Digital da UFSM
instname:Universidade Federal de Santa Maria (UFSM)
instacron:UFSM
instname_str Universidade Federal de Santa Maria (UFSM)
instacron_str UFSM
institution UFSM
reponame_str Manancial - Repositório Digital da UFSM
collection Manancial - Repositório Digital da UFSM
repository.name.fl_str_mv Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)
repository.mail.fl_str_mv atendimento.sib@ufsm.br||tedebc@gmail.com
_version_ 1815172391078199296