Novas funções de ativação em redes neurais artificiais multilayer perceptron
Autor(a) principal: | |
---|---|
Data de Publicação: | 2010 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/1757 |
Resumo: | Em redes neurais artificiais (RNAs), as funções de ativação mais comumente usadas são a função sigmóide logística e a função tangente hiperbólica, dependendo das características dos dados. Entretanto, a escolha da função de ativação pode influenciar fortemente o desempenho e a complexidade da rede neural. Neste trabalho, com o objetivo de melhorar o desempenho dos modelos de redes neurais, propomos o uso de novas funções de ativação no processamento das unidades da rede neural. Aqui, as funções não-lineares implementadas são as inversas das funções de ligação usadas em modelos de regressão binomial, essas funções são: complemento log-log, probit, log-log e Aranda, sendo que esta última função apresenta um parâmetro livre e é baseada na família de transformações Aranda-Ordaz. Uma avaliação dos resultados do poder de predição com estas novas funções através de simulação Monte Carlo é apresentada. Além disso, foram realizados diversos experimentos com aproximação de funções contínuas e arbitrárias, com regressão e com previsão de séries temporais. Na utilização da função de ativação com parâmetro livre, duas metodologias foram usadas para a escolha do parâmetro livre, l . A primeira foi baseada em um procedimento semelhante ao de busca em linha (line search). A segunda foi usada uma metodologia para a otimização global dessa família de funções de ativação com parâmetro livre e dos pesos das conexões entre as unidades de processamento da rede neural. A ideia central é otimizar simultaneamente os pesos e a função de ativação usada em uma rede multilayer perceptron (MLP), através de uma abordagem que combina as vantagens de simulated annealing, de tabu search e de um algoritmo de aprendizagem local. As redes utilizadas para realizar esses experimentos foram treinadas através dos seguintes algoritmos de aprendizagem: backpropagation (BP), backpropagation com momentum (BPM), backpropagation baseado no gradiente conjugado com atualizações Fletcher-Reeves (CGF) e Levenberg-Marquardt (LM) |
id |
UFPE_3cba03014a8e8a79cf3b00fa802965c7 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/1757 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
GOMES, Gecynalda Soares da SilvaLUDERMIR, Teresa Bernarda2014-06-12T15:52:11Z2014-06-12T15:52:11Z2010-01-31Soares da Silva Gomes, Gecynalda; Bernarda Ludermir, Teresa. Novas funções de ativação em redes neurais artificiais multilayer perceptron. 2010. Tese (Doutorado). Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Pernambuco, Recife, 2010.https://repositorio.ufpe.br/handle/123456789/1757Em redes neurais artificiais (RNAs), as funções de ativação mais comumente usadas são a função sigmóide logística e a função tangente hiperbólica, dependendo das características dos dados. Entretanto, a escolha da função de ativação pode influenciar fortemente o desempenho e a complexidade da rede neural. Neste trabalho, com o objetivo de melhorar o desempenho dos modelos de redes neurais, propomos o uso de novas funções de ativação no processamento das unidades da rede neural. Aqui, as funções não-lineares implementadas são as inversas das funções de ligação usadas em modelos de regressão binomial, essas funções são: complemento log-log, probit, log-log e Aranda, sendo que esta última função apresenta um parâmetro livre e é baseada na família de transformações Aranda-Ordaz. Uma avaliação dos resultados do poder de predição com estas novas funções através de simulação Monte Carlo é apresentada. Além disso, foram realizados diversos experimentos com aproximação de funções contínuas e arbitrárias, com regressão e com previsão de séries temporais. Na utilização da função de ativação com parâmetro livre, duas metodologias foram usadas para a escolha do parâmetro livre, l . A primeira foi baseada em um procedimento semelhante ao de busca em linha (line search). A segunda foi usada uma metodologia para a otimização global dessa família de funções de ativação com parâmetro livre e dos pesos das conexões entre as unidades de processamento da rede neural. A ideia central é otimizar simultaneamente os pesos e a função de ativação usada em uma rede multilayer perceptron (MLP), através de uma abordagem que combina as vantagens de simulated annealing, de tabu search e de um algoritmo de aprendizagem local. As redes utilizadas para realizar esses experimentos foram treinadas através dos seguintes algoritmos de aprendizagem: backpropagation (BP), backpropagation com momentum (BPM), backpropagation baseado no gradiente conjugado com atualizações Fletcher-Reeves (CGF) e Levenberg-Marquardt (LM)Conselho Nacional de Desenvolvimento Científico e TecnológicoporUniversidade Federal de PernambucoAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessRedes neurais artificiaisFunção de ativaçãoComplemento log-logProbitLog-logArandaAssimetriaAlgoritmos de aprendizagemNovas funções de ativação em redes neurais artificiais multilayer perceptroninfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILarquivo3194_1.pdf.jpgarquivo3194_1.pdf.jpgGenerated Thumbnailimage/jpeg1306https://repositorio.ufpe.br/bitstream/123456789/1757/4/arquivo3194_1.pdf.jpg2741dfd315604cc7d4cc1866edb61cd2MD54ORIGINALarquivo3194_1.pdfapplication/pdf1782444https://repositorio.ufpe.br/bitstream/123456789/1757/1/arquivo3194_1.pdf1982844f90df3787391d8faa431cde16MD51LICENSElicense.txttext/plain1748https://repositorio.ufpe.br/bitstream/123456789/1757/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52TEXTarquivo3194_1.pdf.txtarquivo3194_1.pdf.txtExtracted texttext/plain402229https://repositorio.ufpe.br/bitstream/123456789/1757/3/arquivo3194_1.pdf.txt83cc93643aabc0a52deef0fb3a4358aeMD53123456789/17572019-10-25 02:57:30.291oai:repositorio.ufpe.br:123456789/1757Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T05:57:30Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
title |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
spellingShingle |
Novas funções de ativação em redes neurais artificiais multilayer perceptron GOMES, Gecynalda Soares da Silva Redes neurais artificiais Função de ativação Complemento log-log Probit Log-log Aranda Assimetria Algoritmos de aprendizagem |
title_short |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
title_full |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
title_fullStr |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
title_full_unstemmed |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
title_sort |
Novas funções de ativação em redes neurais artificiais multilayer perceptron |
author |
GOMES, Gecynalda Soares da Silva |
author_facet |
GOMES, Gecynalda Soares da Silva |
author_role |
author |
dc.contributor.author.fl_str_mv |
GOMES, Gecynalda Soares da Silva |
dc.contributor.advisor1.fl_str_mv |
LUDERMIR, Teresa Bernarda |
contributor_str_mv |
LUDERMIR, Teresa Bernarda |
dc.subject.por.fl_str_mv |
Redes neurais artificiais Função de ativação Complemento log-log Probit Log-log Aranda Assimetria Algoritmos de aprendizagem |
topic |
Redes neurais artificiais Função de ativação Complemento log-log Probit Log-log Aranda Assimetria Algoritmos de aprendizagem |
description |
Em redes neurais artificiais (RNAs), as funções de ativação mais comumente usadas são a função sigmóide logística e a função tangente hiperbólica, dependendo das características dos dados. Entretanto, a escolha da função de ativação pode influenciar fortemente o desempenho e a complexidade da rede neural. Neste trabalho, com o objetivo de melhorar o desempenho dos modelos de redes neurais, propomos o uso de novas funções de ativação no processamento das unidades da rede neural. Aqui, as funções não-lineares implementadas são as inversas das funções de ligação usadas em modelos de regressão binomial, essas funções são: complemento log-log, probit, log-log e Aranda, sendo que esta última função apresenta um parâmetro livre e é baseada na família de transformações Aranda-Ordaz. Uma avaliação dos resultados do poder de predição com estas novas funções através de simulação Monte Carlo é apresentada. Além disso, foram realizados diversos experimentos com aproximação de funções contínuas e arbitrárias, com regressão e com previsão de séries temporais. Na utilização da função de ativação com parâmetro livre, duas metodologias foram usadas para a escolha do parâmetro livre, l . A primeira foi baseada em um procedimento semelhante ao de busca em linha (line search). A segunda foi usada uma metodologia para a otimização global dessa família de funções de ativação com parâmetro livre e dos pesos das conexões entre as unidades de processamento da rede neural. A ideia central é otimizar simultaneamente os pesos e a função de ativação usada em uma rede multilayer perceptron (MLP), através de uma abordagem que combina as vantagens de simulated annealing, de tabu search e de um algoritmo de aprendizagem local. As redes utilizadas para realizar esses experimentos foram treinadas através dos seguintes algoritmos de aprendizagem: backpropagation (BP), backpropagation com momentum (BPM), backpropagation baseado no gradiente conjugado com atualizações Fletcher-Reeves (CGF) e Levenberg-Marquardt (LM) |
publishDate |
2010 |
dc.date.issued.fl_str_mv |
2010-01-31 |
dc.date.accessioned.fl_str_mv |
2014-06-12T15:52:11Z |
dc.date.available.fl_str_mv |
2014-06-12T15:52:11Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
Soares da Silva Gomes, Gecynalda; Bernarda Ludermir, Teresa. Novas funções de ativação em redes neurais artificiais multilayer perceptron. 2010. Tese (Doutorado). Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Pernambuco, Recife, 2010. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/1757 |
identifier_str_mv |
Soares da Silva Gomes, Gecynalda; Bernarda Ludermir, Teresa. Novas funções de ativação em redes neurais artificiais multilayer perceptron. 2010. Tese (Doutorado). Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Pernambuco, Recife, 2010. |
url |
https://repositorio.ufpe.br/handle/123456789/1757 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/1757/4/arquivo3194_1.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/1757/1/arquivo3194_1.pdf https://repositorio.ufpe.br/bitstream/123456789/1757/2/license.txt https://repositorio.ufpe.br/bitstream/123456789/1757/3/arquivo3194_1.pdf.txt |
bitstream.checksum.fl_str_mv |
2741dfd315604cc7d4cc1866edb61cd2 1982844f90df3787391d8faa431cde16 8a4605be74aa9ea9d79846c1fba20a33 83cc93643aabc0a52deef0fb3a4358ae |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310678939172864 |