Generalização do extreme learning machine regularizado para problemas de múltiplas saídas

Detalhes bibliográficos
Autor(a) principal: Inaba, Fernando Kentaro
Data de Publicação: 2018
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
Texto Completo: http://repositorio.ufes.br/handle/10/9693
Resumo: Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network.
id UFES_ffcc4aecaa13b473705a4edb98dd2c0d
oai_identifier_str oai:repositorio.ufes.br:10/9693
network_acronym_str UFES
network_name_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository_id_str 2108
spelling Salles, Evandro Ottoni TeatiniInaba, Fernando KentaroCôco, Klaus FabianSantos, Thiago Oliveira dosRauber, Thomas WalterLeon, André Carlos Ponce2018-08-02T00:01:48Z2018-08-012018-08-02T00:01:48Z2018-02-28Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network.Extreme Learning Machine (ELM) recentemente teve sua popularidade aumentada e com isso tem sido aplicada com sucesso em diversas áreas do conhecimento. No estado da arte, variações usando regularização se tornaram comuns na área de ELM. A regularização mais comum é a norma `2, que melhora a generalização, mas resulta em uma rede densa. Regularização baseada em elastic net também foi proposta, mas geralmente restrita a problemas de regressão de uma saída e classificação binária. Este trabalho tem por objetivo propor uma generalização do ELM regularizado para problemas de classificação multiclasse e regressão multitarget. Nesse sentido, observou-se que o uso da norma `2,1 e de Frobenius proporcionaram uma generalização adequada. Como consequência, foi possível demonstrar que as técnicas R-ELM e OR-ELM, consagradas na literatura, são casos particulares dos métodos propostos nesta Tese, denominados de GR-ELM e GOR-ELM, respectivamente. Além disso, outra proposta deste trabalho é trazer um algoritmo alternativo para o GRELM, o DGR-ELM, para tratar dados que são naturalmente distribuídos. O alternating direction method of multipliers (ADMM) é usado para resolver os problemas de otimização resultantes. Message passing interface (MPI) no estilo de programação single program, multiple data (SPMD) é escolhido para implementar o DGR-ELM. Vários experimentos são conduzidos para avaliar os métodos propostos. Os experimentos realizados mostram que o GR-ELM, DGR-ELM e GOR-ELM possuem desempenho similar quando comparados ao R-ELM e OR-ELM, embora, em geral, uma estrutura mais compacta é obtida na rede resultante.Texthttp://repositorio.ufes.br/handle/10/9693porUniversidade Federal do Espírito SantoDoutorado em Engenharia ElétricaPrograma de Pós-Graduação em Engenharia ElétricaUFESBRCentro TecnológicoMáquinas de aprendizado extremo (ELM)Otimização matemáticaReconhecimento de padrõesAprendizado do computadorInteligência computacionalEngenharia Elétrica621.3Generalização do extreme learning machine regularizado para problemas de múltiplas saídasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESORIGINALtese_11838_TeseFernandoKentaro20180704-82519.pdfapplication/pdf1351429http://repositorio.ufes.br/bitstreams/663dc806-48d3-4b9c-9cfe-6a28b518a93b/download8f61541bb363877ab5ace62f3dc9e8f3MD5110/96932024-07-17 17:01:44.005oai:repositorio.ufes.br:10/9693http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T17:53:35.031791Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false
dc.title.none.fl_str_mv Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
title Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
spellingShingle Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
Inaba, Fernando Kentaro
Máquinas de aprendizado extremo (ELM)
Engenharia Elétrica
Otimização matemática
Reconhecimento de padrões
Aprendizado do computador
Inteligência computacional
621.3
title_short Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
title_full Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
title_fullStr Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
title_full_unstemmed Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
title_sort Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
author Inaba, Fernando Kentaro
author_facet Inaba, Fernando Kentaro
author_role author
dc.contributor.advisor1.fl_str_mv Salles, Evandro Ottoni Teatini
dc.contributor.author.fl_str_mv Inaba, Fernando Kentaro
dc.contributor.referee1.fl_str_mv Côco, Klaus Fabian
dc.contributor.referee2.fl_str_mv Santos, Thiago Oliveira dos
dc.contributor.referee3.fl_str_mv Rauber, Thomas Walter
dc.contributor.referee4.fl_str_mv Leon, André Carlos Ponce
contributor_str_mv Salles, Evandro Ottoni Teatini
Côco, Klaus Fabian
Santos, Thiago Oliveira dos
Rauber, Thomas Walter
Leon, André Carlos Ponce
dc.subject.por.fl_str_mv Máquinas de aprendizado extremo (ELM)
topic Máquinas de aprendizado extremo (ELM)
Engenharia Elétrica
Otimização matemática
Reconhecimento de padrões
Aprendizado do computador
Inteligência computacional
621.3
dc.subject.cnpq.fl_str_mv Engenharia Elétrica
dc.subject.br-rjbn.none.fl_str_mv Otimização matemática
Reconhecimento de padrões
Aprendizado do computador
Inteligência computacional
dc.subject.udc.none.fl_str_mv 621.3
description Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network.
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-08-02T00:01:48Z
dc.date.available.fl_str_mv 2018-08-01
2018-08-02T00:01:48Z
dc.date.issued.fl_str_mv 2018-02-28
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufes.br/handle/10/9693
url http://repositorio.ufes.br/handle/10/9693
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv Text
dc.publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Doutorado em Engenharia Elétrica
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFES
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Centro Tecnológico
publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Doutorado em Engenharia Elétrica
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
instname:Universidade Federal do Espírito Santo (UFES)
instacron:UFES
instname_str Universidade Federal do Espírito Santo (UFES)
instacron_str UFES
institution UFES
reponame_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
collection Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
bitstream.url.fl_str_mv http://repositorio.ufes.br/bitstreams/663dc806-48d3-4b9c-9cfe-6a28b518a93b/download
bitstream.checksum.fl_str_mv 8f61541bb363877ab5ace62f3dc9e8f3
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)
repository.mail.fl_str_mv
_version_ 1813022515066306560