Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
Texto Completo: | http://repositorio.ufes.br/handle/10/9693 |
Resumo: | Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network. |
id |
UFES_ffcc4aecaa13b473705a4edb98dd2c0d |
---|---|
oai_identifier_str |
oai:repositorio.ufes.br:10/9693 |
network_acronym_str |
UFES |
network_name_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
repository_id_str |
2108 |
spelling |
Salles, Evandro Ottoni TeatiniInaba, Fernando KentaroCôco, Klaus FabianSantos, Thiago Oliveira dosRauber, Thomas WalterLeon, André Carlos Ponce2018-08-02T00:01:48Z2018-08-012018-08-02T00:01:48Z2018-02-28Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network.Extreme Learning Machine (ELM) recentemente teve sua popularidade aumentada e com isso tem sido aplicada com sucesso em diversas áreas do conhecimento. No estado da arte, variações usando regularização se tornaram comuns na área de ELM. A regularização mais comum é a norma `2, que melhora a generalização, mas resulta em uma rede densa. Regularização baseada em elastic net também foi proposta, mas geralmente restrita a problemas de regressão de uma saída e classificação binária. Este trabalho tem por objetivo propor uma generalização do ELM regularizado para problemas de classificação multiclasse e regressão multitarget. Nesse sentido, observou-se que o uso da norma `2,1 e de Frobenius proporcionaram uma generalização adequada. Como consequência, foi possível demonstrar que as técnicas R-ELM e OR-ELM, consagradas na literatura, são casos particulares dos métodos propostos nesta Tese, denominados de GR-ELM e GOR-ELM, respectivamente. Além disso, outra proposta deste trabalho é trazer um algoritmo alternativo para o GRELM, o DGR-ELM, para tratar dados que são naturalmente distribuídos. O alternating direction method of multipliers (ADMM) é usado para resolver os problemas de otimização resultantes. Message passing interface (MPI) no estilo de programação single program, multiple data (SPMD) é escolhido para implementar o DGR-ELM. Vários experimentos são conduzidos para avaliar os métodos propostos. Os experimentos realizados mostram que o GR-ELM, DGR-ELM e GOR-ELM possuem desempenho similar quando comparados ao R-ELM e OR-ELM, embora, em geral, uma estrutura mais compacta é obtida na rede resultante.Texthttp://repositorio.ufes.br/handle/10/9693porUniversidade Federal do Espírito SantoDoutorado em Engenharia ElétricaPrograma de Pós-Graduação em Engenharia ElétricaUFESBRCentro TecnológicoMáquinas de aprendizado extremo (ELM)Otimização matemáticaReconhecimento de padrõesAprendizado do computadorInteligência computacionalEngenharia Elétrica621.3Generalização do extreme learning machine regularizado para problemas de múltiplas saídasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESORIGINALtese_11838_TeseFernandoKentaro20180704-82519.pdfapplication/pdf1351429http://repositorio.ufes.br/bitstreams/663dc806-48d3-4b9c-9cfe-6a28b518a93b/download8f61541bb363877ab5ace62f3dc9e8f3MD5110/96932024-07-17 17:01:44.005oai:repositorio.ufes.br:10/9693http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T17:53:35.031791Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false |
dc.title.none.fl_str_mv |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
title |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
spellingShingle |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas Inaba, Fernando Kentaro Máquinas de aprendizado extremo (ELM) Engenharia Elétrica Otimização matemática Reconhecimento de padrões Aprendizado do computador Inteligência computacional 621.3 |
title_short |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
title_full |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
title_fullStr |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
title_full_unstemmed |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
title_sort |
Generalização do extreme learning machine regularizado para problemas de múltiplas saídas |
author |
Inaba, Fernando Kentaro |
author_facet |
Inaba, Fernando Kentaro |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Salles, Evandro Ottoni Teatini |
dc.contributor.author.fl_str_mv |
Inaba, Fernando Kentaro |
dc.contributor.referee1.fl_str_mv |
Côco, Klaus Fabian |
dc.contributor.referee2.fl_str_mv |
Santos, Thiago Oliveira dos |
dc.contributor.referee3.fl_str_mv |
Rauber, Thomas Walter |
dc.contributor.referee4.fl_str_mv |
Leon, André Carlos Ponce |
contributor_str_mv |
Salles, Evandro Ottoni Teatini Côco, Klaus Fabian Santos, Thiago Oliveira dos Rauber, Thomas Walter Leon, André Carlos Ponce |
dc.subject.por.fl_str_mv |
Máquinas de aprendizado extremo (ELM) |
topic |
Máquinas de aprendizado extremo (ELM) Engenharia Elétrica Otimização matemática Reconhecimento de padrões Aprendizado do computador Inteligência computacional 621.3 |
dc.subject.cnpq.fl_str_mv |
Engenharia Elétrica |
dc.subject.br-rjbn.none.fl_str_mv |
Otimização matemática Reconhecimento de padrões Aprendizado do computador Inteligência computacional |
dc.subject.udc.none.fl_str_mv |
621.3 |
description |
Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network. |
publishDate |
2018 |
dc.date.accessioned.fl_str_mv |
2018-08-02T00:01:48Z |
dc.date.available.fl_str_mv |
2018-08-01 2018-08-02T00:01:48Z |
dc.date.issued.fl_str_mv |
2018-02-28 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufes.br/handle/10/9693 |
url |
http://repositorio.ufes.br/handle/10/9693 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
Text |
dc.publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Doutorado em Engenharia Elétrica |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFES |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro Tecnológico |
publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Doutorado em Engenharia Elétrica |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) instname:Universidade Federal do Espírito Santo (UFES) instacron:UFES |
instname_str |
Universidade Federal do Espírito Santo (UFES) |
instacron_str |
UFES |
institution |
UFES |
reponame_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
collection |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
bitstream.url.fl_str_mv |
http://repositorio.ufes.br/bitstreams/663dc806-48d3-4b9c-9cfe-6a28b518a93b/download |
bitstream.checksum.fl_str_mv |
8f61541bb363877ab5ace62f3dc9e8f3 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES) |
repository.mail.fl_str_mv |
|
_version_ |
1813022515066306560 |