Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches

Detalhes bibliográficos
Autor(a) principal: OLIVEIRA, Gustavo Henrique Ferreira de Miranda
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: eng
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/44559
Resumo: As aplicações do mundo real têm lidado com uma grande quantidade de informações, que chegam de forma contínua e sequencialmente ao longo do tempo, caracterizadas como fluxos de dados. Esse tipo de dado desafia os algoritmos de aprendizado de máquina devido à mudança de conceito. A mudança de conceito é uma mudança na distribuição de probabilidade conjunta do problema e tem duas variações: a mudança virtual que afeta a distribuição de probabilidade incondicional p(x); e a mudança real que afeta a distribuição de probabilidade condicional p(y|x). Essas mudanças podem ocorrer separadamente e simultaneamente e ter impactos diferentes no desempenho do classificador. Os trabalhos da literatura geralmente não compreendem bem esses aspectos. Devido a isso, se concentram apenas nas mudanças reais, por que elas causam degradação direta no desempenho do classificador. No entanto, desvios virtuais também podem causar essa degradação de forma indireta. Novas observações podem chegar em uma região não treinada pelo classificador, forçando-o a confundir sua verdadeira classe, assim cometendo erros de classificação. O ideal seria ter classificadores que entendam que tipo de mudança ocorre em determinado momento para ativar estratégias apropriadas para lidar com este desafio. Este processo é chamado de entendimento da mudança. Como as abordagens da literatura não compreendem bem os diferentes impactos causados pelas mudanças virtuais e reais, o seu desempenho fica limitado. Motivados por isso, propomos três abordagens para entender o tipo da mudança e usar a estratégia correta para se adaptar, sendo elas: (i) Gaussian Mixture Model For Dealing With Virtual and Real Concept Drifts (GMM-VRD); (ii) On-line Gaussian Mixture Model With Noise Filter For Handling Virtual And Real Concept Drifts (OGMMF-VRD); e (iii) Gaussian Local Drift Detector for Drift Understanding (GLDD-DU). Essas abordagens atualizam e criam Gaussians on-line para lidar com mudanças virtuais, usam detectores de mudança para reinicializar o conhecimento do sistema para lidar com mudanças reais e recuperam modelos do pool para acelerar a adaptação a um novo conceito. Os principais resultados mostraram que todas as abordagens apresentam desempenho competitivo, mas o OGMMF-VRD foi mais consistente ao longo dos conjuntos de dados, apresentando melhor desempenho.
id UFPE_d184c5bc86dc12d59e627208e9f9b98d
oai_identifier_str oai:repositorio.ufpe.br:123456789/44559
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling OLIVEIRA, Gustavo Henrique Ferreira de Mirandahttp://lattes.cnpq.br/6122413580278340http://lattes.cnpq.br/5194381227316437http://lattes.cnpq.br/9752509898747992OLIVEIRA, Adriano Lorena Inácio deMINKU, Leandro Lei2022-05-25T15:21:14Z2022-05-25T15:21:14Z2022-02-24OLIVEIRA, Gustavo Henrique Ferreira de Miranda. Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches. 2022. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/44559As aplicações do mundo real têm lidado com uma grande quantidade de informações, que chegam de forma contínua e sequencialmente ao longo do tempo, caracterizadas como fluxos de dados. Esse tipo de dado desafia os algoritmos de aprendizado de máquina devido à mudança de conceito. A mudança de conceito é uma mudança na distribuição de probabilidade conjunta do problema e tem duas variações: a mudança virtual que afeta a distribuição de probabilidade incondicional p(x); e a mudança real que afeta a distribuição de probabilidade condicional p(y|x). Essas mudanças podem ocorrer separadamente e simultaneamente e ter impactos diferentes no desempenho do classificador. Os trabalhos da literatura geralmente não compreendem bem esses aspectos. Devido a isso, se concentram apenas nas mudanças reais, por que elas causam degradação direta no desempenho do classificador. No entanto, desvios virtuais também podem causar essa degradação de forma indireta. Novas observações podem chegar em uma região não treinada pelo classificador, forçando-o a confundir sua verdadeira classe, assim cometendo erros de classificação. O ideal seria ter classificadores que entendam que tipo de mudança ocorre em determinado momento para ativar estratégias apropriadas para lidar com este desafio. Este processo é chamado de entendimento da mudança. Como as abordagens da literatura não compreendem bem os diferentes impactos causados pelas mudanças virtuais e reais, o seu desempenho fica limitado. Motivados por isso, propomos três abordagens para entender o tipo da mudança e usar a estratégia correta para se adaptar, sendo elas: (i) Gaussian Mixture Model For Dealing With Virtual and Real Concept Drifts (GMM-VRD); (ii) On-line Gaussian Mixture Model With Noise Filter For Handling Virtual And Real Concept Drifts (OGMMF-VRD); e (iii) Gaussian Local Drift Detector for Drift Understanding (GLDD-DU). Essas abordagens atualizam e criam Gaussians on-line para lidar com mudanças virtuais, usam detectores de mudança para reinicializar o conhecimento do sistema para lidar com mudanças reais e recuperam modelos do pool para acelerar a adaptação a um novo conceito. Os principais resultados mostraram que todas as abordagens apresentam desempenho competitivo, mas o OGMMF-VRD foi mais consistente ao longo dos conjuntos de dados, apresentando melhor desempenho.FACEPEReal-world applications have been dealing with large amounts of data, which come continuously and sequentially over time, characterized as data streams. This type of data challenges machine learning algorithms due to concept drift. Concept drift is a change in the joint probability distribution of the problem and has two variations: virtual drift that affects the unconditional probability distribution p(x); and real drift that affects the conditional probability distribution p(y|x). These drifts can happen separately or simultaneously and can have different impacts on classifiers’ suitability. Existing work focuses mainly on real drifts, typically dealing with them by adopting mechanisms to react to performance degradation, which may result from such drifts. However, virtual drifts can also cause such performance degradation. Adopting mechanisms to deal with real drifts when the performance degradation occurs as a result of virtual drifts may not be ideal, hindering classifiers’ performances. Classifiers should ideally understand which type of drift occurs to activate appropriate strategies to deal with this challenge. This process is called drift understanding. Motivated by this, we propose three approaches to understand the drift type and use the correct strategy to adapt to it, namely: (i) GMM-VRD; (ii) OGMMF-VRD; and (iii) GLDD-DU. These approaches update and create Gaussians in an on-line manner to handle virtual drifts, use concept drift detection to reinitialize the system to handle real drifts, and retrieve models from a pool to speed up adaptation to a new concept. The main results show that these approaches are able to achieve competitive performance, but OGMMF-VRD was more consistent across different datasets. It thus performed better than the others.engUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalModelo de mistura gaussianaFluxos de dadosMudança de conceito virtualMudança de conceito realTackling virtual and real concept drifts via adaptive gaussian mixture model approachesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPECC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/44559/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/44559/3/license.txt6928b9260b07fb2755249a5ca9903395MD53ORIGINALTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdfTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdfapplication/pdf6593476https://repositorio.ufpe.br/bitstream/123456789/44559/1/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf1e70286ac8d8da44df1c9287481d1b85MD51TEXTTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdf.txtTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdf.txtExtracted texttext/plain254013https://repositorio.ufpe.br/bitstream/123456789/44559/4/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf.txt2e292edde980697be9c388e2e82f0278MD54THUMBNAILTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdf.jpgTESE Gustavo Henrique Ferreira de Miranda Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1269https://repositorio.ufpe.br/bitstream/123456789/44559/5/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf.jpg2e54264169480f7e7627d385995a1677MD55123456789/445592022-05-26 02:28:28.439oai:repositorio.ufpe.br:123456789/44559VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-05-26T05:28:28Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
title Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
spellingShingle Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
OLIVEIRA, Gustavo Henrique Ferreira de Miranda
Inteligência computacional
Modelo de mistura gaussiana
Fluxos de dados
Mudança de conceito virtual
Mudança de conceito real
title_short Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
title_full Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
title_fullStr Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
title_full_unstemmed Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
title_sort Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches
author OLIVEIRA, Gustavo Henrique Ferreira de Miranda
author_facet OLIVEIRA, Gustavo Henrique Ferreira de Miranda
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6122413580278340
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5194381227316437
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9752509898747992
dc.contributor.author.fl_str_mv OLIVEIRA, Gustavo Henrique Ferreira de Miranda
dc.contributor.advisor1.fl_str_mv OLIVEIRA, Adriano Lorena Inácio de
dc.contributor.advisor-co1.fl_str_mv MINKU, Leandro Lei
contributor_str_mv OLIVEIRA, Adriano Lorena Inácio de
MINKU, Leandro Lei
dc.subject.por.fl_str_mv Inteligência computacional
Modelo de mistura gaussiana
Fluxos de dados
Mudança de conceito virtual
Mudança de conceito real
topic Inteligência computacional
Modelo de mistura gaussiana
Fluxos de dados
Mudança de conceito virtual
Mudança de conceito real
description As aplicações do mundo real têm lidado com uma grande quantidade de informações, que chegam de forma contínua e sequencialmente ao longo do tempo, caracterizadas como fluxos de dados. Esse tipo de dado desafia os algoritmos de aprendizado de máquina devido à mudança de conceito. A mudança de conceito é uma mudança na distribuição de probabilidade conjunta do problema e tem duas variações: a mudança virtual que afeta a distribuição de probabilidade incondicional p(x); e a mudança real que afeta a distribuição de probabilidade condicional p(y|x). Essas mudanças podem ocorrer separadamente e simultaneamente e ter impactos diferentes no desempenho do classificador. Os trabalhos da literatura geralmente não compreendem bem esses aspectos. Devido a isso, se concentram apenas nas mudanças reais, por que elas causam degradação direta no desempenho do classificador. No entanto, desvios virtuais também podem causar essa degradação de forma indireta. Novas observações podem chegar em uma região não treinada pelo classificador, forçando-o a confundir sua verdadeira classe, assim cometendo erros de classificação. O ideal seria ter classificadores que entendam que tipo de mudança ocorre em determinado momento para ativar estratégias apropriadas para lidar com este desafio. Este processo é chamado de entendimento da mudança. Como as abordagens da literatura não compreendem bem os diferentes impactos causados pelas mudanças virtuais e reais, o seu desempenho fica limitado. Motivados por isso, propomos três abordagens para entender o tipo da mudança e usar a estratégia correta para se adaptar, sendo elas: (i) Gaussian Mixture Model For Dealing With Virtual and Real Concept Drifts (GMM-VRD); (ii) On-line Gaussian Mixture Model With Noise Filter For Handling Virtual And Real Concept Drifts (OGMMF-VRD); e (iii) Gaussian Local Drift Detector for Drift Understanding (GLDD-DU). Essas abordagens atualizam e criam Gaussians on-line para lidar com mudanças virtuais, usam detectores de mudança para reinicializar o conhecimento do sistema para lidar com mudanças reais e recuperam modelos do pool para acelerar a adaptação a um novo conceito. Os principais resultados mostraram que todas as abordagens apresentam desempenho competitivo, mas o OGMMF-VRD foi mais consistente ao longo dos conjuntos de dados, apresentando melhor desempenho.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-05-25T15:21:14Z
dc.date.available.fl_str_mv 2022-05-25T15:21:14Z
dc.date.issued.fl_str_mv 2022-02-24
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv OLIVEIRA, Gustavo Henrique Ferreira de Miranda. Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches. 2022. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/44559
identifier_str_mv OLIVEIRA, Gustavo Henrique Ferreira de Miranda. Tackling virtual and real concept drifts via adaptive gaussian mixture model approaches. 2022. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2022.
url https://repositorio.ufpe.br/handle/123456789/44559
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/44559/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/44559/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/44559/1/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf
https://repositorio.ufpe.br/bitstream/123456789/44559/4/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/44559/5/TESE%20Gustavo%20Henrique%20Ferreira%20de%20Miranda%20Oliveira.pdf.jpg
bitstream.checksum.fl_str_mv e39d27027a6cc9cb039ad269a5db8e34
6928b9260b07fb2755249a5ca9903395
1e70286ac8d8da44df1c9287481d1b85
2e292edde980697be9c388e2e82f0278
2e54264169480f7e7627d385995a1677
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310791230128128