Algoritmos de Geração de Protótipos Para Bases Desbalanceadas

Detalhes bibliográficos
Autor(a) principal: Oliveira, Dayvid Victor Rodrigues de
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/11330
Resumo: Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP.
id UFPE_8a398556cb57aa1ce2c1aa331bd78744
oai_identifier_str oai:repositorio.ufpe.br:123456789/11330
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling Oliveira, Dayvid Victor Rodrigues deCavalcanti, George Darmiton da Cunha 2015-03-06T19:37:29Z2015-03-06T19:37:29Z2014-02-25OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014.https://repositorio.ufpe.br/handle/123456789/11330Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP.porUniversidade Federal de PernambucoAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessRedução de instânciasBases DesbalanceadasGeração de ProtótiposAlgoritmos EvolucionáriosAdaptive Self-Generating PrototypesCreative Steady-State Memetic AlgorithmAlgoritmos de Geração de Protótipos Para Bases Desbalanceadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.jpgDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1340https://repositorio.ufpe.br/bitstream/123456789/11330/5/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.jpg6b42681e65d135c526dcf383b8308b7bMD55ORIGINALDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdfDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdfapplication/pdf798881https://repositorio.ufpe.br/bitstream/123456789/11330/1/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf3b4ac40fda11573b025340c2b03e8903MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81232https://repositorio.ufpe.br/bitstream/123456789/11330/2/license_rdf66e71c371cc565284e70f40736c94386MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/11330/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.txtDISSERTAÇÃO Dayvid Victor Rodrigues de Oliveira.pdf.txtExtracted texttext/plain135817https://repositorio.ufpe.br/bitstream/123456789/11330/4/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.txt3579e4a151e0b27ca0d43bd1eace6197MD54123456789/113302019-10-25 16:48:44.63oai:repositorio.ufpe.br:123456789/11330TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T19:48:44Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
title Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
spellingShingle Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
Oliveira, Dayvid Victor Rodrigues de
Redução de instâncias
Bases Desbalanceadas
Geração de Protótipos
Algoritmos Evolucionários
Adaptive Self-Generating Prototypes
Creative Steady-State Memetic Algorithm
title_short Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
title_full Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
title_fullStr Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
title_full_unstemmed Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
title_sort Algoritmos de Geração de Protótipos Para Bases Desbalanceadas
author Oliveira, Dayvid Victor Rodrigues de
author_facet Oliveira, Dayvid Victor Rodrigues de
author_role author
dc.contributor.author.fl_str_mv Oliveira, Dayvid Victor Rodrigues de
dc.contributor.advisor1.fl_str_mv Cavalcanti, George Darmiton da Cunha
contributor_str_mv Cavalcanti, George Darmiton da Cunha
dc.subject.por.fl_str_mv Redução de instâncias
Bases Desbalanceadas
Geração de Protótipos
Algoritmos Evolucionários
Adaptive Self-Generating Prototypes
Creative Steady-State Memetic Algorithm
topic Redução de instâncias
Bases Desbalanceadas
Geração de Protótipos
Algoritmos Evolucionários
Adaptive Self-Generating Prototypes
Creative Steady-State Memetic Algorithm
description Técnicas de redução de instâncias são técnicas usadas para reduzir a quantidade de instâncias em um conjunto de dados. Estas técnicas podem atuar removendo dados redundantes ou gerando novos dados. As instâncias resultantes são chamadas de protótipos. Técnicas de seleção de protótipos, são técnicas de redução de instâncias que realizam esta tarefa selecionando um subconjunto do conjunto de dados original. Já as técnicas de geração de protótipos, são técnicas de redução de instâncias que criam instâncias que não necessariamente pertencem ao conjunto de dados original. Algoritmos evolucionários têm sido frequentemente utilizados em seleção de protótipos, tal abordagem é chamada de evolutionary prototype selection. Algumas bases de dados do mundo real possuem muitas instâncias de uma classe, a classe majoritária, e poucas de outra, classe minoritária, estas bases são chamadas de bases desbalanceadas. Em tais bases, muitos algoritmos de redução de instâncias se tornam inviáveis, retornando muitas instâncias da classe majoritária e poucas, ou até nenhuma, da classe minoritária. Este efeito é ainda mais acentuado em técnicas de remoção de ruídos. Neste trabalho, são propostas duas técnicas de geração de protótipos que minimizam o efeito de desbalanceamento entre classes. A primeira proposta é o Creative Steady-State Memetic Algorithm (CSSMA), um algoritmo de geração de protótipos que utiliza um algoritmo evolucionário, incorporando uma busca local, para encontrar o conjunto de protótipos artificiais que maximiza a função de aptidão. Esta técnica é inspirada no Steady-State Memetic Algorithm, uma das melhores técnicas de seleção de protótipos na literatura, tanto em redução quanto em classificação. A segunda proposta é o Adaptive Self- Generating Prototypes (ASGP), esta técnica gera instâncias levando em consideração o tamanho do maior agrupamento de cada classe. O ASGP é uma derivação do Self-Generating Prototypes (SGP), considerada uma das técnicas de geração de protótipos de maior poder de generalização, sendo, porém, ineficiente em bases desbalanceadas. As bases de dados usadas nos experimentos são do módulo imbalanced datasets do KEEL software, dicotômicas, e com diferentes níveis de desbalanceamento. Cada base é dividida em 5 partições para aplicação do k-fold cross validation (k=5). As métricas usadas para avaliar a performance dos algoritmos foram a area under the ROC curve (AUC) e a taxa de redução. Para comparar os resultados, foi utilizado o teste estatístico de Wilcoxon. Os resultados mostram que o CSSMA foi superior em taxa de acerto, AUC, a outros algoritmos evolucionários de redução de instâncias recentemente propostos. O ASGP também obteve uma AUC superior ao Self-Generating Prototypes 2, versão mais atual do SGP.
publishDate 2014
dc.date.issued.fl_str_mv 2014-02-25
dc.date.accessioned.fl_str_mv 2015-03-06T19:37:29Z
dc.date.available.fl_str_mv 2015-03-06T19:37:29Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/11330
identifier_str_mv OLIVEIRA, Dayvid Victor Rodrigues de. Algoritmos de geração de protótipos para bases desbalanceadas. Recife, 2014. 69 f. Dissertação (mestrado) - UFPE, Centro de Informática, Programa de Pós-graduação em Ciência da Computação, 2014.
url https://repositorio.ufpe.br/handle/123456789/11330
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/11330/5/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/11330/1/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf
https://repositorio.ufpe.br/bitstream/123456789/11330/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/11330/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/11330/4/DISSERTA%c3%87%c3%83O%20Dayvid%20Victor%20Rodrigues%20de%20Oliveira.pdf.txt
bitstream.checksum.fl_str_mv 6b42681e65d135c526dcf383b8308b7b
3b4ac40fda11573b025340c2b03e8903
66e71c371cc565284e70f40736c94386
4b8a02c7f2818eaf00dcf2260dd5eb08
3579e4a151e0b27ca0d43bd1eace6197
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310876175269888