Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas

Detalhes bibliográficos
Autor(a) principal: Cantão, Adriano Henrique
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/59/59143/tde-05122022-102337/
Resumo: O volume de dados disponíveis aumentou rapidamente nos últimos anos e, com isso, os datasets geralmente acabam tendo muitos atributos irrelevantes que podem dificultar a compreensão humana e até levar a modelos de aprendizado de máquina ruins. É possível lidar com esse problema ordenando os atributos de acordo com suas relevâncias e, se desejado, pode ser aplicado um valor de corte ou a estratégia dos top-k para reduzir o número de atributos, mantendo apenas os mais relevantes. Esta pesquisa aborda esse problema e propõe um novo método que emprega árvores de uma Random Forest para transformar um dataset em uma rede complexa na qual métricas de centralidade são aplicadas para ranquear os atributos. O processo representa cada árvore como um grafo, onde todos os atributos na Árvore de Decisão são vértices e as ligações entre os nós (pai → filho) da árvore são representados por uma aresta ponderada entre os dois respectivos vértices. A união de todos os grafos de árvores individuais leva à rede complexa. Experimentos foram realizados em 97 datasets de classificação e regressão rotulados, com variação nos níveis de ruído dos atributos e dos exemplos. Os resultados mostram que, para redes complexas geradas a partir de Random Forests, as métricas de peso de aresta unitário e out-of-bag apresentaram melhores resultados para datasets de classificação e regressão, respectivamente; as métricas de centralidade tiveram melhor desempenho em redes não orientadas, em geral. É possível concluir que a centralidade do autovetor e a importância dos atributos da Random Forest têm desempenho equivalente. Em outras palavras, não houve diferença estatisticamente significativa entre eles em todas, exceto em uma situação (com 40% de ruído nos exemplos para datasets de regressão), com nível de confiança de 95%.
id USP_2c09ec354e3d1a80931039b7d58ac31f
oai_identifier_str oai:teses.usp.br:tde-05122022-102337
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexasRanking of attributes through random forests and centrality metrics in complex networksCentrality measuresComplex networksFeature rankingMétricas de centralidadeRandom forestsRandom forestsRanqueamento de atributosRedes complexasO volume de dados disponíveis aumentou rapidamente nos últimos anos e, com isso, os datasets geralmente acabam tendo muitos atributos irrelevantes que podem dificultar a compreensão humana e até levar a modelos de aprendizado de máquina ruins. É possível lidar com esse problema ordenando os atributos de acordo com suas relevâncias e, se desejado, pode ser aplicado um valor de corte ou a estratégia dos top-k para reduzir o número de atributos, mantendo apenas os mais relevantes. Esta pesquisa aborda esse problema e propõe um novo método que emprega árvores de uma Random Forest para transformar um dataset em uma rede complexa na qual métricas de centralidade são aplicadas para ranquear os atributos. O processo representa cada árvore como um grafo, onde todos os atributos na Árvore de Decisão são vértices e as ligações entre os nós (pai → filho) da árvore são representados por uma aresta ponderada entre os dois respectivos vértices. A união de todos os grafos de árvores individuais leva à rede complexa. Experimentos foram realizados em 97 datasets de classificação e regressão rotulados, com variação nos níveis de ruído dos atributos e dos exemplos. Os resultados mostram que, para redes complexas geradas a partir de Random Forests, as métricas de peso de aresta unitário e out-of-bag apresentaram melhores resultados para datasets de classificação e regressão, respectivamente; as métricas de centralidade tiveram melhor desempenho em redes não orientadas, em geral. É possível concluir que a centralidade do autovetor e a importância dos atributos da Random Forest têm desempenho equivalente. Em outras palavras, não houve diferença estatisticamente significativa entre eles em todas, exceto em uma situação (com 40% de ruído nos exemplos para datasets de regressão), com nível de confiança de 95%.In recent years, the volume of available data has rapidly increased, and datasets commonly end up with many irrelevant features which may disturb human understanding and even lead to poor machine learning models. It is possible to deal with that problem by sorting the features according to their relevancy, and if desirable, either a threshold or the best top-k strategy can be applied to reduce the number of features, keeping only the most relevant ones. This research addresses this problem and proposes a novel method that employs trees from a Random Forest to transform a dataset into a complex network to which centrality measures are applied to rank the features. The process represents each tree as a graph where all features in the Decision Tree are vertices, and the links within the nodes (father → child) of the tree are represented by a weighted edge between the two respective vertices. The union of all graphs from individual trees leads to the complex network. Experiments were performed in 97 labeled classification and regression datasets, with a variation in the feature and example noise levels. Results show that, for complex networks generated from Random Forests, the edge-weight metrics unitary and out-of-bag presented better results for classification and regression datasets, respectively; centrality measures had better performance in non-oriented networks, in general. It is possible to conclude that the eigenvector centrality and the Random Forest feature importance have equivalent performance. In other words, there was no statistically significant difference between them in all except one situation (at 40% noise in the examples for regression datasets), at 95% confidence level.Biblioteca Digitais de Teses e Dissertações da USPBaranauskas, José AugustoLiang, ZhaoCantão, Adriano Henrique2022-09-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/59/59143/tde-05122022-102337/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-12-12T12:22:52Zoai:teses.usp.br:tde-05122022-102337Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-12-12T12:22:52Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
Ranking of attributes through random forests and centrality metrics in complex networks
title Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
spellingShingle Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
Cantão, Adriano Henrique
Centrality measures
Complex networks
Feature ranking
Métricas de centralidade
Random forests
Random forests
Ranqueamento de atributos
Redes complexas
title_short Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
title_full Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
title_fullStr Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
title_full_unstemmed Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
title_sort Ranqueamento de atributos por meio de random forests e métricas de centralidade em redes complexas
author Cantão, Adriano Henrique
author_facet Cantão, Adriano Henrique
author_role author
dc.contributor.none.fl_str_mv Baranauskas, José Augusto
Liang, Zhao
dc.contributor.author.fl_str_mv Cantão, Adriano Henrique
dc.subject.por.fl_str_mv Centrality measures
Complex networks
Feature ranking
Métricas de centralidade
Random forests
Random forests
Ranqueamento de atributos
Redes complexas
topic Centrality measures
Complex networks
Feature ranking
Métricas de centralidade
Random forests
Random forests
Ranqueamento de atributos
Redes complexas
description O volume de dados disponíveis aumentou rapidamente nos últimos anos e, com isso, os datasets geralmente acabam tendo muitos atributos irrelevantes que podem dificultar a compreensão humana e até levar a modelos de aprendizado de máquina ruins. É possível lidar com esse problema ordenando os atributos de acordo com suas relevâncias e, se desejado, pode ser aplicado um valor de corte ou a estratégia dos top-k para reduzir o número de atributos, mantendo apenas os mais relevantes. Esta pesquisa aborda esse problema e propõe um novo método que emprega árvores de uma Random Forest para transformar um dataset em uma rede complexa na qual métricas de centralidade são aplicadas para ranquear os atributos. O processo representa cada árvore como um grafo, onde todos os atributos na Árvore de Decisão são vértices e as ligações entre os nós (pai → filho) da árvore são representados por uma aresta ponderada entre os dois respectivos vértices. A união de todos os grafos de árvores individuais leva à rede complexa. Experimentos foram realizados em 97 datasets de classificação e regressão rotulados, com variação nos níveis de ruído dos atributos e dos exemplos. Os resultados mostram que, para redes complexas geradas a partir de Random Forests, as métricas de peso de aresta unitário e out-of-bag apresentaram melhores resultados para datasets de classificação e regressão, respectivamente; as métricas de centralidade tiveram melhor desempenho em redes não orientadas, em geral. É possível concluir que a centralidade do autovetor e a importância dos atributos da Random Forest têm desempenho equivalente. Em outras palavras, não houve diferença estatisticamente significativa entre eles em todas, exceto em uma situação (com 40% de ruído nos exemplos para datasets de regressão), com nível de confiança de 95%.
publishDate 2022
dc.date.none.fl_str_mv 2022-09-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/59/59143/tde-05122022-102337/
url https://www.teses.usp.br/teses/disponiveis/59/59143/tde-05122022-102337/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815256753947803648