Propagação de alvos em redes neurais artificiais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Manancial - Repositório Digital da UFSM |
dARK ID: | ark:/26339/001300000smg1 |
Texto Completo: | http://repositorio.ufsm.br/handle/1/16956 |
Resumo: | Artificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost. |
id |
UFSM_ec5ab7bbd1536b57e6b665cff021ffb4 |
---|---|
oai_identifier_str |
oai:repositorio.ufsm.br:1/16956 |
network_acronym_str |
UFSM |
network_name_str |
Manancial - Repositório Digital da UFSM |
repository_id_str |
|
spelling |
Propagação de alvos em redes neurais artificiaisTarget propagation in artificial neural networksRede neuralTreinamentoPropagação de alvosInicializaçãoHiperparâmetrosEmaranhamentoNeural networkTrainingTarget propagationInitializationHyperparametersEntanglementCNPQ::CIENCIAS EXATAS E DA TERRA::FISICAArtificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESRede neural artificial é um tipo de inteligência artificial dedicada ao estudo de sistemas artificiais que aprendem com dados. O treinamento de redes neurais necessita de um método que evolua seus parâmetros internos de tal forma que melhore sua capacidade de resolver algum problema determinado. Propagação de alvos é um método de treinamento que calcula a melhor atividade neural para atingir um objetivo. Desenvolvemos uma variação da propagação de alvos que calcula a atividade ideal de acordo com o gradiente de uma função do objetivo. Inicialização aleatória de pesos é uma técnica para inicializar valores peso aleatórios presentes em redes neurais antes de treinamento. Apresentamos uma inicialização que considera a não-linearidade de neurônios e a distribuição de dados de entrada. Hiperparâmetros são valores que regulam variações de parâmetros de modificação. Estes valores são geralmente especificados heuristicamente, desperdiçando recursos computacionais. Mostramos uma forma de obter os hiperparâmetros sem a necessidade de algoritmos de busca. Rede neural quântica é um tipo de inteligência artificial que usa fenômenos quânticos para realizar computação. Inspirado em uma teoria de emaranhamento no cérebro biológico, desenvolvemos uma técnica de correlação quântica entre neurônios que melhora o desempenho sobre certas condições. Através do problema de classificação de imagens, os resultados mostram que as quatro técnicas desenvolvidas beneficiam o desempenho de redes neurais, podendo até mesmo reduzir o custo computacional em certos casos.Universidade Federal de Santa MariaBrasilFísicaUFSMPrograma de Pós-Graduação em FísicaCentro de Ciências Naturais e ExatasMaziero, Jonashttp://lattes.cnpq.br/1270437648097538Guerra, Rodrigo da Silvahttp://lattes.cnpq.br/4292452867996496Silva, Adenilton José dahttp://lattes.cnpq.br/0314035098884256Farias, Tiago de Souza2019-06-11T21:55:40Z2019-06-11T21:55:40Z2019-02-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/16956ark:/26339/001300000smg1porAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2019-06-12T06:01:35Zoai:repositorio.ufsm.br:1/16956Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2019-06-12T06:01:35Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false |
dc.title.none.fl_str_mv |
Propagação de alvos em redes neurais artificiais Target propagation in artificial neural networks |
title |
Propagação de alvos em redes neurais artificiais |
spellingShingle |
Propagação de alvos em redes neurais artificiais Farias, Tiago de Souza Rede neural Treinamento Propagação de alvos Inicialização Hiperparâmetros Emaranhamento Neural network Training Target propagation Initialization Hyperparameters Entanglement CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA |
title_short |
Propagação de alvos em redes neurais artificiais |
title_full |
Propagação de alvos em redes neurais artificiais |
title_fullStr |
Propagação de alvos em redes neurais artificiais |
title_full_unstemmed |
Propagação de alvos em redes neurais artificiais |
title_sort |
Propagação de alvos em redes neurais artificiais |
author |
Farias, Tiago de Souza |
author_facet |
Farias, Tiago de Souza |
author_role |
author |
dc.contributor.none.fl_str_mv |
Maziero, Jonas http://lattes.cnpq.br/1270437648097538 Guerra, Rodrigo da Silva http://lattes.cnpq.br/4292452867996496 Silva, Adenilton José da http://lattes.cnpq.br/0314035098884256 |
dc.contributor.author.fl_str_mv |
Farias, Tiago de Souza |
dc.subject.por.fl_str_mv |
Rede neural Treinamento Propagação de alvos Inicialização Hiperparâmetros Emaranhamento Neural network Training Target propagation Initialization Hyperparameters Entanglement CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA |
topic |
Rede neural Treinamento Propagação de alvos Inicialização Hiperparâmetros Emaranhamento Neural network Training Target propagation Initialization Hyperparameters Entanglement CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA |
description |
Artificial neural network is a type of artificial intelligence focued on the study of learning systems with data. The training of neural networks requires a method that evolves their internal parameters, which are responsible for solving some given problem. Target propagation is a training method where it evaluates the best neural activity to accomplish an objective. We developed a variation of target propagation in which the ideal activity is obtained from a gradient of an objective function. Random weights initialization is a technique to set the random values in neural networks before training. We present an initialization scheme that considers the non-linear effects from neurons and the distribution of data. Hyperparameters are values that regulate evolving parameters. These values are, in general, obtained heuristically, wasting computational resources. We show a method to obtain the hyperparameters without the need of searches algorithms. Quantum neural networks are a type of artificial intelligence where it harness quantum phenomena for computation power. Inspired by a theory of entanglement in the biological brain, we developed a quantum correlation technique among neurons that can improve performance. Within the problem of image classification, the results show that the four techniques can improve the neural network performance and, under certain conditions, lower the computational cost. |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019-06-11T21:55:40Z 2019-06-11T21:55:40Z 2019-02-22 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/16956 |
dc.identifier.dark.fl_str_mv |
ark:/26339/001300000smg1 |
url |
http://repositorio.ufsm.br/handle/1/16956 |
identifier_str_mv |
ark:/26339/001300000smg1 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Física UFSM Programa de Pós-Graduação em Física Centro de Ciências Naturais e Exatas |
publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Física UFSM Programa de Pós-Graduação em Física Centro de Ciências Naturais e Exatas |
dc.source.none.fl_str_mv |
reponame:Manancial - Repositório Digital da UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
instname_str |
Universidade Federal de Santa Maria (UFSM) |
instacron_str |
UFSM |
institution |
UFSM |
reponame_str |
Manancial - Repositório Digital da UFSM |
collection |
Manancial - Repositório Digital da UFSM |
repository.name.fl_str_mv |
Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM) |
repository.mail.fl_str_mv |
atendimento.sib@ufsm.br||tedebc@gmail.com |
_version_ |
1815172391078199296 |