Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2014 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/11330 |
Resumo: | Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP. |
id |
UFPE_8a398556cb57aa1ce2c1aa331bd78744 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/11330 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
Oliveira, Dayvid Victor Rodrigues deCavalcanti, George Darmiton da Cunha 2015-03-06T19:37:29Z2015-03-06T19:37:29Z2014-02-25OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014.https://repositorio.ufpe.br/handle/123456789/11330Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP.porUniversidade Federal de PernambucoAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessRedução de instânciasBases DesbalanceadasGeração de ProtótiposAlgoritmos EvolucionáriosAdaptive Self-Generating PrototypesCreative Steady-State Memetic AlgorithmAlgoritmos de Geração de Protótipos Para Bases Desbalanceadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.jpgDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1340https://repositorio.ufpe.br/bitstream/123456789/11330/5/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.jpg6b42681e65d135c526dcf383b8308b7bMD55ORIGINALDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdfDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdfapplication/pdf798881https://repositorio.ufpe.br/bitstream/123456789/11330/1/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf3b4ac40fda11573b025340c2b03e8903MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81232https://repositorio.ufpe.br/bitstream/123456789/11330/2/license_rdf66e71c371cc565284e70f40736c94386MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/11330/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.txtDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.txtExtracted texttext/plain135817https://repositorio.ufpe.br/bitstream/123456789/11330/4/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.txt3579e4a151e0b27ca0d43bd1eace6197MD54123456789/113302019-10-25 16:48:44.63oai:repositorio.ufpe.br:123456789/11330TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T19:48:44Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
title |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
spellingShingle |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas Oliveira, Dayvid Victor Rodrigues de Redução de instâncias Bases Desbalanceadas Geração de Protótipos Algoritmos Evolucionários Adaptive Self-Generating Prototypes Creative Steady-State Memetic Algorithm |
title_short |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
title_full |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
title_fullStr |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
title_full_unstemmed |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
title_sort |
Algoritmos de Geração de Protótipos Para Bases Desbalanceadas |
author |
Oliveira, Dayvid Victor Rodrigues de |
author_facet |
Oliveira, Dayvid Victor Rodrigues de |
author_role |
author |
dc.contributor.author.fl_str_mv |
Oliveira, Dayvid Victor Rodrigues de |
dc.contributor.advisor1.fl_str_mv |
Cavalcanti, George Darmiton da Cunha |
contributor_str_mv |
Cavalcanti, George Darmiton da Cunha |
dc.subject.por.fl_str_mv |
Redução de instâncias Bases Desbalanceadas Geração de Protótipos Algoritmos Evolucionários Adaptive Self-Generating Prototypes Creative Steady-State Memetic Algorithm |
topic |
Redução de instâncias Bases Desbalanceadas Geração de Protótipos Algoritmos Evolucionários Adaptive Self-Generating Prototypes Creative Steady-State Memetic Algorithm |
description |
Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP. |
publishDate |
2014 |
dc.date.issued.fl_str_mv |
2014-02-25 |
dc.date.accessioned.fl_str_mv |
2015-03-06T19:37:29Z |
dc.date.available.fl_str_mv |
2015-03-06T19:37:29Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/11330 |
identifier_str_mv |
OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014. |
url |
https://repositorio.ufpe.br/handle/123456789/11330 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/11330/5/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/11330/1/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf https://repositorio.ufpe.br/bitstream/123456789/11330/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/11330/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/11330/4/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.txt |
bitstream.checksum.fl_str_mv |
6b42681e65d135c526dcf383b8308b7b 3b4ac40fda11573b025340c2b03e8903 66e71c371cc565284e70f40736c94386 4b8a02c7f2818eaf00dcf2260dd5eb08 3579e4a151e0b27ca0d43bd1eace6197 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310876175269888 |