Support vector machine ensemble based on feature and hyperparameter variation
Autor(a) principal: | |
---|---|
Data de Publicação: | 2011 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
Texto Completo: | http://repositorio.ufes.br/handle/10/4234 |
Resumo: | The support vector machine (SVM) classifier is currently considered one of the most powerful pattern recognition based techniques for solving binary classification problems. To further increase the accuracy of an individual SVM, a well-established approach relies on using a SVM ensemble, which is a set of accurate, divergent SVMs. In this work we investigate composing an ensemble with SVMs that differ among themselves on the feature subset and also the hyperparameter value they use. We propose a three-stage method for building an SVM ensemble. First we use complementary Genetic Ensemble Feature Selection (GEFS) searches to globally investigate the feature space, aiming to produce a set of diverse feature subsets. Further, for each produced feature subset we build a SVM with tuned hyperparameters. Finally, we employ a local search to retain an optimized, reduced set of these SVMs to ultimately comprise the ensemble. Our experiments were performed in a context of real-world industrial machine fault diagnosis. We use 2000 examples of vibration signals obtained from motor pumps installed on oil platforms. The performed experiments show that the proposed SVM ensemble method achieved superior results in comparison to other well-established classification approaches. |
id |
UFES_54aaae270c8a44ceaa48d0080bbe623d |
---|---|
oai_identifier_str |
oai:repositorio.ufes.br:10/4234 |
network_acronym_str |
UFES |
network_name_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
repository_id_str |
2108 |
spelling |
Varejão, Flávio MiguelRauber, Thomas WalterWandekokem, Estefhan DazziKrohling, Renato Antônio2016-08-29T15:33:14Z2016-07-112016-08-29T15:33:14Z2011-02-23The support vector machine (SVM) classifier is currently considered one of the most powerful pattern recognition based techniques for solving binary classification problems. To further increase the accuracy of an individual SVM, a well-established approach relies on using a SVM ensemble, which is a set of accurate, divergent SVMs. In this work we investigate composing an ensemble with SVMs that differ among themselves on the feature subset and also the hyperparameter value they use. We propose a three-stage method for building an SVM ensemble. First we use complementary Genetic Ensemble Feature Selection (GEFS) searches to globally investigate the feature space, aiming to produce a set of diverse feature subsets. Further, for each produced feature subset we build a SVM with tuned hyperparameters. Finally, we employ a local search to retain an optimized, reduced set of these SVMs to ultimately comprise the ensemble. Our experiments were performed in a context of real-world industrial machine fault diagnosis. We use 2000 examples of vibration signals obtained from motor pumps installed on oil platforms. The performed experiments show that the proposed SVM ensemble method achieved superior results in comparison to other well-established classification approaches.Classificadores do tipo máquina de vetores de suporte (SVM) são atualmente considerados uma das técnicas mais poderosas para se resolver problemas de classificação com duas classes. Para aumentar o desempenho alcançado por classificadores SVM individuais, uma abordagem bem estabelecida é usar uma combinação de SVMs, a qual corresponde a um conjunto de classificadores SVMs que são, simultaneamente, individualmente precisos e coletivamente divergentes em suas decisões. Este trabalho propõe uma abordagem para se criar combinações de SVMs, baseada em um processo de três estágios. Inicialmente, são usadas execuções complementares de uma busca baseada em algoritmos genéticos (GEFS), com o objetivo de investigar globalmente o espaço de características para definir um conjunto de subconjuntos de características. Em seguida, para cada um desses subconjuntos de características definidos, uma SVM que usa parâmetros otimizados é construída. Por fim, é empregada uma busca local com o objetivo de selecionar um subconjunto otimizado dessas SVMs, e assim formar a combinação de SVMs que é finalmente produzida. Os experimentos foram realizados num contexto de detecção de defeitos em máquinas industriais. Foram usados 2000 exemplos de sinais de vibração de moto bombas instaladas em plataformas de petróleo. Os experimentos realizados mostram que o método proposto para se criar combinação de SVMs apresentou um desempenho superior em comparação a outras abordagens de classificação bem estabelecidas.TextWANDEKOKEM, Estefhan Dazzi. Support vector machine ensemble based on feature and hyperparameter variation. 2011. 74 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2011.http://repositorio.ufes.br/handle/10/4234engUniversidade Federal do Espírito SantoMestrado em InformáticaPrograma de Pós-Graduação em InformáticaUFESBRCentro TecnológicoClassificaçãoAlgorítmos genéticosOtimização matemáticaCiência da Computação004Support vector machine ensemble based on feature and hyperparameter variationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESORIGINALDissertação_4163_.pdfapplication/pdf479699http://repositorio.ufes.br/bitstreams/280cc5f2-14bf-4ba7-b314-365ed0f73df6/download04f01a137084c0859b4494de6db8b3acMD5110/42342024-06-28 16:11:22.633oai:repositorio.ufes.br:10/4234http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-06-28T16:11:22Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false |
dc.title.none.fl_str_mv |
Support vector machine ensemble based on feature and hyperparameter variation |
title |
Support vector machine ensemble based on feature and hyperparameter variation |
spellingShingle |
Support vector machine ensemble based on feature and hyperparameter variation Wandekokem, Estefhan Dazzi Ciência da Computação Classificação Algorítmos genéticos Otimização matemática 004 |
title_short |
Support vector machine ensemble based on feature and hyperparameter variation |
title_full |
Support vector machine ensemble based on feature and hyperparameter variation |
title_fullStr |
Support vector machine ensemble based on feature and hyperparameter variation |
title_full_unstemmed |
Support vector machine ensemble based on feature and hyperparameter variation |
title_sort |
Support vector machine ensemble based on feature and hyperparameter variation |
author |
Wandekokem, Estefhan Dazzi |
author_facet |
Wandekokem, Estefhan Dazzi |
author_role |
author |
dc.contributor.advisor-co1.fl_str_mv |
Varejão, Flávio Miguel |
dc.contributor.advisor1.fl_str_mv |
Rauber, Thomas Walter |
dc.contributor.author.fl_str_mv |
Wandekokem, Estefhan Dazzi |
dc.contributor.referee1.fl_str_mv |
Krohling, Renato Antônio |
contributor_str_mv |
Varejão, Flávio Miguel Rauber, Thomas Walter Krohling, Renato Antônio |
dc.subject.cnpq.fl_str_mv |
Ciência da Computação |
topic |
Ciência da Computação Classificação Algorítmos genéticos Otimização matemática 004 |
dc.subject.br-rjbn.none.fl_str_mv |
Classificação Algorítmos genéticos Otimização matemática |
dc.subject.udc.none.fl_str_mv |
004 |
description |
The support vector machine (SVM) classifier is currently considered one of the most powerful pattern recognition based techniques for solving binary classification problems. To further increase the accuracy of an individual SVM, a well-established approach relies on using a SVM ensemble, which is a set of accurate, divergent SVMs. In this work we investigate composing an ensemble with SVMs that differ among themselves on the feature subset and also the hyperparameter value they use. We propose a three-stage method for building an SVM ensemble. First we use complementary Genetic Ensemble Feature Selection (GEFS) searches to globally investigate the feature space, aiming to produce a set of diverse feature subsets. Further, for each produced feature subset we build a SVM with tuned hyperparameters. Finally, we employ a local search to retain an optimized, reduced set of these SVMs to ultimately comprise the ensemble. Our experiments were performed in a context of real-world industrial machine fault diagnosis. We use 2000 examples of vibration signals obtained from motor pumps installed on oil platforms. The performed experiments show that the proposed SVM ensemble method achieved superior results in comparison to other well-established classification approaches. |
publishDate |
2011 |
dc.date.issued.fl_str_mv |
2011-02-23 |
dc.date.accessioned.fl_str_mv |
2016-08-29T15:33:14Z |
dc.date.available.fl_str_mv |
2016-07-11 2016-08-29T15:33:14Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
WANDEKOKEM, Estefhan Dazzi. Support vector machine ensemble based on feature and hyperparameter variation. 2011. 74 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2011. |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufes.br/handle/10/4234 |
identifier_str_mv |
WANDEKOKEM, Estefhan Dazzi. Support vector machine ensemble based on feature and hyperparameter variation. 2011. 74 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2011. |
url |
http://repositorio.ufes.br/handle/10/4234 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
Text |
dc.publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática |
dc.publisher.initials.fl_str_mv |
UFES |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro Tecnológico |
publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) instname:Universidade Federal do Espírito Santo (UFES) instacron:UFES |
instname_str |
Universidade Federal do Espírito Santo (UFES) |
instacron_str |
UFES |
institution |
UFES |
reponame_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
collection |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
bitstream.url.fl_str_mv |
http://repositorio.ufes.br/bitstreams/280cc5f2-14bf-4ba7-b314-365ed0f73df6/download |
bitstream.checksum.fl_str_mv |
04f01a137084c0859b4494de6db8b3ac |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES) |
repository.mail.fl_str_mv |
|
_version_ |
1804309146762215424 |