Strict very fast decision tree : a memory conservative algorithm for data stream classification

Detalhes bibliográficos
Autor(a) principal: Costa, Victor Guilherme Turrisi
Data de Publicação: 2024
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UEL
Texto Completo: https://repositorio.uel.br/handle/123456789/10561
Resumo: Resumo: Lidar com restrições de memória e tempo são desafios presentes quando deseja-se aprender com fluxos massivos de dados Diversos algoritmos foram propostos para lidar com essas dificuldades, entre eles, a Very Fast Decision Tree (VFDT) Apesar da VFDT ser amplamente utilizada para a mineração de fluxos de dados, nos últimos anos, diversos autores sugeriram mudanças para melhorar a capacidade preditiva desse algoritmo, mas ignorando os altos custos adicionais de memória e tempo ocasionados por essas modificações Além disso, mais recentemente, a maioria dos algoritmos para mineração de fluxos de dados são baseados em ensembles, sendo bem custosos considerando os recursos de memória e tempo Esse estudo apresenta um novo algoritmo baseado na VFDT chamado de Strict VFDT (SVFDT) que reduz custos de memória mantendo capacidade preditiva similar a VFDT Além disso, como as árvores de decisão geradas são mais rasas, a SVFDT acaba reduzindo o tempo computacional necessário para se processar um fluxo de dados Esse algoritmo aplica medidas heurísticas para bloquear divisões de folhas que não resultam em um aumento significativo na capacidade preditiva Foram realizados experimentos comparando a SVFDT com a VFDT em 26 fluxos de dados Após realizar diversas análises, cada qual focando em algum dos múltiplos aspectos dos algoritmos, foi possível observar que o algoritmo proposto é capaz de reduzir drasticamente o consumo de memória enquanto possui capacidade preditiva similar e sendo mais rápido em muitos casos
id UEL_1aeef77528cdf7bc402b02ed056cc0bb
oai_identifier_str oai:repositorio.uel.br:123456789/10561
network_acronym_str UEL
network_name_str Repositório Institucional da UEL
repository_id_str
spelling Strict very fast decision tree : a memory conservative algorithm for data stream classificationMineração de dados (Computação)Algoritmos de computadorAprendizado do computadorData mining (Computing)Computer algoritmsResumo: Lidar com restrições de memória e tempo são desafios presentes quando deseja-se aprender com fluxos massivos de dados Diversos algoritmos foram propostos para lidar com essas dificuldades, entre eles, a Very Fast Decision Tree (VFDT) Apesar da VFDT ser amplamente utilizada para a mineração de fluxos de dados, nos últimos anos, diversos autores sugeriram mudanças para melhorar a capacidade preditiva desse algoritmo, mas ignorando os altos custos adicionais de memória e tempo ocasionados por essas modificações Além disso, mais recentemente, a maioria dos algoritmos para mineração de fluxos de dados são baseados em ensembles, sendo bem custosos considerando os recursos de memória e tempo Esse estudo apresenta um novo algoritmo baseado na VFDT chamado de Strict VFDT (SVFDT) que reduz custos de memória mantendo capacidade preditiva similar a VFDT Além disso, como as árvores de decisão geradas são mais rasas, a SVFDT acaba reduzindo o tempo computacional necessário para se processar um fluxo de dados Esse algoritmo aplica medidas heurísticas para bloquear divisões de folhas que não resultam em um aumento significativo na capacidade preditiva Foram realizados experimentos comparando a SVFDT com a VFDT em 26 fluxos de dados Após realizar diversas análises, cada qual focando em algum dos múltiplos aspectos dos algoritmos, foi possível observar que o algoritmo proposto é capaz de reduzir drasticamente o consumo de memória enquanto possui capacidade preditiva similar e sendo mais rápido em muitos casosDissertação (Mestrado em Ciência da Computação) - Universidade Estadual de Londrina, Centro de Ciências Exatas, Programa de Pós-Graduação em Ciência da ComputaçãoAbstract: Memory and time constraints are current challenges when learning from massive data streams Many algorithms have been proposed to handle these difficulties, among them, the Very Fast Decision Tree (VFDT) Although it has been widely used in data stream mining, in the last years, several authors have suggested modifications to increase its predictive performance, putting aside the high memory and time demands of these modifications Besides, recently, most data stream mining solutions have been centred around ensembles, which are very costly from a memory and time point of view This study presents a novel algorithm based on the VFDT called Strict VFDT (SVFDT) that reduces memory costs while maintaining predictive performance Moreover, since it creates much shallower trees than VFDT, the SVFDT can achieve a shorter computational time It works by blocking splits which would not yield a significant increase in predictive performance using heuristic measures Experiments were carried out comparing the SVFDT with the VFDT in 26 data stream datasets By performing different analysis focusing on multiple aspects of the algorithms, the proposed algorithm was able to greatly reduce memory consumption while yielding similar predictive performance and being faster in many casesBarbon Junior, Sylvio [Orientador]Zarpelão, Bruno BogazMantovani, Rafael GomesCosta, Victor Guilherme Turrisi2024-05-01T12:44:48Z2024-05-01T12:44:48Z2019.0027.03.2019info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://repositorio.uel.br/handle/123456789/10561porMestradoCiência da ComputaçãoCentro de Ciências ExatasPrograma de Pós-Graduação em Ciência da ComputaçãoLondrinareponame:Repositório Institucional da UELinstname:Universidade Estadual de Londrina (UEL)instacron:UELinfo:eu-repo/semantics/openAccess2024-07-12T04:20:12Zoai:repositorio.uel.br:123456789/10561Biblioteca Digital de Teses e Dissertaçõeshttp://www.bibliotecadigital.uel.br/PUBhttp://www.bibliotecadigital.uel.br/OAI/oai2.phpbcuel@uel.br||opendoar:2024-07-12T04:20:12Repositório Institucional da UEL - Universidade Estadual de Londrina (UEL)false
dc.title.none.fl_str_mv Strict very fast decision tree : a memory conservative algorithm for data stream classification
title Strict very fast decision tree : a memory conservative algorithm for data stream classification
spellingShingle Strict very fast decision tree : a memory conservative algorithm for data stream classification
Costa, Victor Guilherme Turrisi
Mineração de dados (Computação)
Algoritmos de computador
Aprendizado do computador
Data mining (Computing)
Computer algoritms
title_short Strict very fast decision tree : a memory conservative algorithm for data stream classification
title_full Strict very fast decision tree : a memory conservative algorithm for data stream classification
title_fullStr Strict very fast decision tree : a memory conservative algorithm for data stream classification
title_full_unstemmed Strict very fast decision tree : a memory conservative algorithm for data stream classification
title_sort Strict very fast decision tree : a memory conservative algorithm for data stream classification
author Costa, Victor Guilherme Turrisi
author_facet Costa, Victor Guilherme Turrisi
author_role author
dc.contributor.none.fl_str_mv Barbon Junior, Sylvio [Orientador]
Zarpelão, Bruno Bogaz
Mantovani, Rafael Gomes
dc.contributor.author.fl_str_mv Costa, Victor Guilherme Turrisi
dc.subject.por.fl_str_mv Mineração de dados (Computação)
Algoritmos de computador
Aprendizado do computador
Data mining (Computing)
Computer algoritms
topic Mineração de dados (Computação)
Algoritmos de computador
Aprendizado do computador
Data mining (Computing)
Computer algoritms
description Resumo: Lidar com restrições de memória e tempo são desafios presentes quando deseja-se aprender com fluxos massivos de dados Diversos algoritmos foram propostos para lidar com essas dificuldades, entre eles, a Very Fast Decision Tree (VFDT) Apesar da VFDT ser amplamente utilizada para a mineração de fluxos de dados, nos últimos anos, diversos autores sugeriram mudanças para melhorar a capacidade preditiva desse algoritmo, mas ignorando os altos custos adicionais de memória e tempo ocasionados por essas modificações Além disso, mais recentemente, a maioria dos algoritmos para mineração de fluxos de dados são baseados em ensembles, sendo bem custosos considerando os recursos de memória e tempo Esse estudo apresenta um novo algoritmo baseado na VFDT chamado de Strict VFDT (SVFDT) que reduz custos de memória mantendo capacidade preditiva similar a VFDT Além disso, como as árvores de decisão geradas são mais rasas, a SVFDT acaba reduzindo o tempo computacional necessário para se processar um fluxo de dados Esse algoritmo aplica medidas heurísticas para bloquear divisões de folhas que não resultam em um aumento significativo na capacidade preditiva Foram realizados experimentos comparando a SVFDT com a VFDT em 26 fluxos de dados Após realizar diversas análises, cada qual focando em algum dos múltiplos aspectos dos algoritmos, foi possível observar que o algoritmo proposto é capaz de reduzir drasticamente o consumo de memória enquanto possui capacidade preditiva similar e sendo mais rápido em muitos casos
publishDate 2024
dc.date.none.fl_str_mv 2019.00
2024-05-01T12:44:48Z
2024-05-01T12:44:48Z
27.03.2019
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.uel.br/handle/123456789/10561
url https://repositorio.uel.br/handle/123456789/10561
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv Mestrado
Ciência da Computação
Centro de Ciências Exatas
Programa de Pós-Graduação em Ciência da Computação
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv Londrina
dc.source.none.fl_str_mv reponame:Repositório Institucional da UEL
instname:Universidade Estadual de Londrina (UEL)
instacron:UEL
instname_str Universidade Estadual de Londrina (UEL)
instacron_str UEL
institution UEL
reponame_str Repositório Institucional da UEL
collection Repositório Institucional da UEL
repository.name.fl_str_mv Repositório Institucional da UEL - Universidade Estadual de Londrina (UEL)
repository.mail.fl_str_mv bcuel@uel.br||
_version_ 1809823293190963200

Registros relacionados